在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K
启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次）
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升，但如果要...
分类：
其他好文 时间：
2014-06-19 10:16:00
阅读次数：
296
这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer（or HiveServer2）执行查询，而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情，平常我们通过Hive做简单的数据分析实验的时候，都是直接进入Hive执行HiveQL，那我们为什么还要在程序中执行呢？
这里涉及到了一个问题，...
分类：
编程语言 时间：
2014-06-15 16:23:19
阅读次数：
301
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是，如果我想在reduce阶段对每天...
分类：
其他好文 时间：
2014-06-15 09:03:50
阅读次数：
243
Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情, 于是在它的基础上包装了一下, 提供了一套更好用的客户端框架. Netflix在用ZooKee.....
分类：
其他好文 时间：
2014-06-14 23:11:27
阅读次数：
250
本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.CSD...
Zookeeper 分布式环境搭建一、前期环境安装概览IPHost Name Software
192.168.23.128 ae01JDK 1.7192.168.23.129ae02JDK 1.7192.168.23.130ae03JDK
1.7若使用虚拟机安装，可以安装samba, smb...
分类：
其他好文 时间：
2014-06-13 17:27:08
阅读次数：
206
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类：
其他好文 时间：
2014-06-13 17:01:24
阅读次数：
142
阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可...
分类：
其他好文 时间：
2014-06-10 16:15:36
阅读次数：
185
本地zookeeper安装(win7)下载zookeeper-3.3.6.zip文件解压zookeeper-3.3.6.zip文件到d:盘在D:\zookeeper-3.3.6\conf下增添
zoo.cfgcopy此zoo_sample.cfg生成zoo.cfg文件# The number of ...
