利用CombineFileInputFormat把ntf_data导入到Hbase里...
分类：
其他好文 时间：
2014-05-13 09:02:34
阅读次数：
316
安装HBase 0.94.6-cdh4.3.0
设定HBase的配置文件，由于安装的是cdh版，各版本直接匹配，互相依赖的jar包也都正确，只需要配置下hbase的环境变量和配置文件即可。
1.配置hbase-env.sh，添加JAVA_HOME环境变量
[html] view
plaincopy
export JAVA_HOME=/us...
分类：
其他好文 时间：
2014-05-12 22:36:14
阅读次数：
504
关于MemStore的补充
在通过HStore.add向store中添加一个kv时，首先把数据写入到memstore中。这一点没有什么说明；
publiclongadd(finalKeyValue
kv) {
lock.readLock().lock();
try{
returnthis.memstore.add(kv);
}finally{
lock.readLock().un...
分类：
其他好文 时间：
2014-05-12 14:14:38
阅读次数：
340
Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类：
数据库 时间：
2014-05-12 11:45:03
阅读次数：
457
在看这一章之前，建议大家先去看一下snapshot的使用。这一章是上一章snapshot的续集，上一章了讲了怎么做snapshot的原理，这一章就怎么从snapshot恢复表。restoreSnapshot方法位于HMaster当中，这个方法没几行代码，调用了SnapshotManager的rest...
分类：
其他好文 时间：
2014-05-12 03:59:20
阅读次数：
386
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
HFileV2文件
HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。
文件格式通过hfile.format.version配置。默认为2，也只有2这个值在0.96可用。
可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding,
可配置值：NONE,PREFIX,DIFF,FAST_DIFF,PREF...
分类：
其他好文 时间：
2014-05-11 02:57:42
阅读次数：
589
在看这一章之前，建议大家先去看一下snapshot的使用。可能有人会有疑问为什么要做Snapshot，hdfs不是自带了3个备份吗，这是个很大的误区，要知道hdfs的3个备份是用于防止网络传输中的失败或者别的异常情况导致数据块丢失或者不正确，它不能避免人为的删除数据导致的后果。它就想是给数据库做.....
分类：
其他好文 时间：
2014-05-10 23:14:45
阅读次数：
519
本Hadoop与HBase集群有1台NameNode, 7台DataNode
1. /etc/hostname文件
NameNode:
node1
DataNode 1:
node2
DataNode 2:
node3
.......
DataNode 7:
node8
2. /etc/hosts文件
N...
分类：
其他好文 时间：
2014-05-10 04:55:08
阅读次数：
386
声明: 若要转载, 请标明出处.
前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.
引用:
一、这种方式有很多的优点：
1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk...
分类：
其他好文 时间：
2014-05-10 04:33:38
阅读次数：
513
