HBase是一个类Bigtable系统，按照Google的论文对
Bigtable的定义是“一种稀疏的，分布式的，持久的多为维度的有序Map。这个Map由row key，column
key和timestamp做为索引，Map中的值是连续的byte数组”。HBase的多维度，包括table和colu...
分类：
其他好文 时间：
2014-05-10 00:30:36
阅读次数：
357
当hive在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下：
Possible error: Out of memory due to hash maps used in map-side aggregation.
Solution: Currently hive.map.aggr.hash.percentmemory is set to 0.5. Try set...
分类：
其他好文 时间：
2014-05-09 21:08:27
阅读次数：
366
1、前提条件：
只需要选择一台服务器即可，这里选择安装在namenode上；安装用户为cloud-user2、安装包： sudo yum install -y hive
hive-metastore hive-server23、安装mysql： sudo yum install -y mysq...
分类：
其他好文 时间：
2014-05-09 15:38:16
阅读次数：
512
hbase与传统关系数据库区别hbase适合于非结构化数据存储的数据库。介于Map Entry
和 DB row之间的一种数据存储方式。1. 数据类型：
HBase只有简单的字符串类型，它只保存字符串所有的类型都是交给用户自己处理。关系型数据库可以选择类型2. 数据操作： HBase操作只有很简单的...
分类：
数据库 时间：
2014-05-09 09:51:14
阅读次数：
444
由于hive也支持sql，很多人会把hql跟标准sql进行比较，甚至有的时候会直接套用。hive不支持事务也不支持索引，更不支持追加写，但是对于一般的sql都是能够支持的。但是对于一些子查询确实无法支持的，例如select
* from t_ext_1_bkdoubledelete where f1...
分类：
其他好文 时间：
2014-05-09 08:35:04
阅读次数：
295
对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。ZooKeeper是Hadoop的开源子项目（GoogleChubby的开源实现），它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Zookeeper的FastFail和Leader选举特性大大增强了分..
分类：
其他好文 时间：
2014-05-09 00:54:51
阅读次数：
265
1.COPY配置文件：cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录：vimhive-env.shHADOOP_HOME=/usr/a..
分类：
其他好文 时间：
2014-05-09 00:51:29
阅读次数：
282
版本：cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式，一种是直接导入，一种是转换为HFile，然后再次导入。1. HDFS数据为（部分）：[root@node33 data]# hadoop fs -ls /inp...
分类：
其他好文 时间：
2014-05-09 00:25:48
阅读次数：
515
摘要：介绍Hadoop生态系统，从Hadoop生态系统有什么成员，成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词：Hadoop
HDFS MapReduce HBase Hive PigHadoop生态图，通俗地说，就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类：
其他好文 时间：
2014-05-08 23:16:24
阅读次数：
387
