1
org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案：确保slf4j-api-1.5.6.jar
和slf4j-log4j12-1.5.6.jar 版本一致如果发布，pom中其他依赖的jar包排除上面两个2 本地调试不行，在LocalCluster
cl...
分类：
其他好文 时间：
2014-05-16 06:55:48
阅读次数：
251
利用CombineFileInputFormat把ntf_data导入到Hbase里...
分类：
其他好文 时间：
2014-05-13 09:02:34
阅读次数：
316
hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
分类：
其他好文 时间：
2014-05-13 05:40:21
阅读次数：
460
学习大数据的处理，有必要读一下有关大数据的书籍。这里，我列举了几本书，仅供参考。
1 ZooKeeper: Distributed Process Coordination
这本书针对的是初级或者高级的开发，面向Zookeeper编程的工程师们。如果你的工程中（如HBase）涉及到Zookeeper的应用，有必要了解一下Zookeeper的管理知识和一些基本解...
分类：
其他好文 时间：
2014-05-12 22:46:32
阅读次数：
662
安装HBase 0.94.6-cdh4.3.0
设定HBase的配置文件，由于安装的是cdh版，各版本直接匹配，互相依赖的jar包也都正确，只需要配置下hbase的环境变量和配置文件即可。
1.配置hbase-env.sh，添加JAVA_HOME环境变量
[html] view
plaincopy
export JAVA_HOME=/us...
分类：
其他好文 时间：
2014-05-12 22:36:14
阅读次数：
504
Thrift 是什么？
Thrift源于大名鼎鼎的facebook之手，在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传
输通信以及系统之间语言环境不同需要跨平台的特性...
分类：
其他好文 时间：
2014-05-12 20:35:23
阅读次数：
296
关于MemStore的补充
在通过HStore.add向store中添加一个kv时，首先把数据写入到memstore中。这一点没有什么说明；
publiclongadd(finalKeyValue
kv) {
lock.readLock().lock();
try{
returnthis.memstore.add(kv);
}finally{
lock.readLock().un...
分类：
其他好文 时间：
2014-05-12 14:14:38
阅读次数：
340
在看这一章之前，建议大家先去看一下snapshot的使用。这一章是上一章snapshot的续集，上一章了讲了怎么做snapshot的原理，这一章就怎么从snapshot恢复表。restoreSnapshot方法位于HMaster当中，这个方法没几行代码，调用了SnapshotManager的rest...
分类：
其他好文 时间：
2014-05-12 03:59:20
阅读次数：
386
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
HFileV2文件
HFileV2文件写入通过StoreFile.Writer-->HFileWriterV2进行写入。
文件格式通过hfile.format.version配置。默认为2，也只有2这个值在0.96可用。
可通过cf中配置DATA_BLOCK_ENCODING配置dataBlock的encoding,
可配置值：NONE,PREFIX,DIFF,FAST_DIFF,PREF...
分类：
其他好文 时间：
2014-05-11 02:57:42
阅读次数：
589
