在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K
启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次）
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升，但如果要...
分类：
其他好文 时间：
2014-06-19 10:16:00
阅读次数：
296
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
最近学习大数据的处理，由于项目开发的需要，使用一种简单的方式来将Excel中的数据导入到数据库中，开发使用的kettle工具。 kettle工具安装很简单，从官网上下载下来之后，直接解压到制定的盘符下即可（前提是你配置了JAVA的环境变量,path,classpath）。 在WINDOWS环境下双击...
分类：
数据库 时间：
2014-06-15 22:10:06
阅读次数：
412
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类：
其他好文 时间：
2014-06-13 17:01:24
阅读次数：
142
下载源码请参考上一篇博文Kettle4.4.2源码分析Kettle
5.0以前的库文件通过ant管理，5.0+的库文件通过ant+ivy管理。Eclipse一般都是安装ant插件，不安装ivy插件，在编译之前先在eclipse安装ivyde插件。安装ivyde插件启动Eclipse，Help
-> ...
分类：
其他好文 时间：
2014-06-10 21:57:54
阅读次数：
902
阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可...
分类：
其他好文 时间：
2014-06-10 16:15:36
阅读次数：
185
新项目准备上HBase。HBase目前由组里某牛负责。本着学会使用HBase的目标，先阅读下HBase in Action，学习内容包括HBase基本实现原理，使用方法，Schema设计原则和实战等。借用Michael Stack（HBase Chair）的话，“At a highlevel, HBase is like theatomic bomb.
Its basic operation...
分类：
其他好文 时间：
2014-06-10 06:33:37
阅读次数：
328
HBase中MemStore的HeapSize 及
flush成HStoreFile的大小变化，KeyValue的详解分析
分类：
其他好文 时间：
2014-06-08 19:51:06
阅读次数：
341
前几天，兴起想仔细玩玩hbase,细细去研究一下，写了个小demo,从win7去连接另一台T510的ubuntu上的hbase.很简单的crud的操作程序，没有看出来什么问题，但是跑起来，硬是好像block住了，不往下执行，eclipse
console没有打印任何信息，小红点还一直亮，纳闷之余，看...
