在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K
启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次）
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升，但如果要...
分类：
其他好文 时间：
2014-06-19 10:16:00
阅读次数：
296
apache的thrift在1.0.0的开发版本之前的python多文件是无法实现的， 在1.0.0上面才有多文件代码。下载thrift1.0.0的源码，把里面的其中一些文件拷贝 /thtift/lib/py/src/TMultiplexedProcessor.py /thtift/lib/py/s...
分类：
其他好文 时间：
2014-06-19 08:52:03
阅读次数：
207
OpenTSDB是基于HBase存储时间序列数据的一个开源数据库，确切地说，它只是一个HBase的应用而已，其对于时间序列数据的处理可以供其他系统参考和借鉴。本文会针对它在数据库的设计方面展开一些探索和讨论。本文基于的是OpenTSDB最早的一个稳定版本1.0.0进行讲解的，下载部署完成之后，我们首先需要了解的是它的数据库Schema， 它主要有两个表：tsdb-uid和tsdb. 前者描述指标（...
分类：
数据库 时间：
2014-06-16 20:55:00
阅读次数：
308
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
目标：学习Hbase，实现在本地文件系统中中安装Hbase参考资料：apache官方文档，HbaseQuickStart环境：MacOS上运行虚拟机，虚拟机中操作系统为CentOS安装过程： 1、安装JDK，本次安装过程中使用的JDK版本是jdk1.8。下载JDK后，执行默认安装； 2、下载HBase（http://mirror.esocc..
分类：
其他好文 时间：
2014-06-16 15:32:25
阅读次数：
191
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
Thrift做的事情就是跨语言的分布式RPC，通过编写.thrift文件声明接口类和方法，客户端调用定义的方法，Server端实现定义的接口。虽然的确RPC是需要网络请求，但不像Netty这种NIO网络编程库(还要关注很多数据传输中的细节，比如数据如何序列化、如何在字节数组里建立结构、如何在两端解析字节数组、如何处理Handler里的事件状态、如何把多个Handler按顺序串起来)，Thrift掩盖了数据传输这件事情，开发者使用的时候就是纯纯的RPC的使用感受。...
分类：
其他好文 时间：
2014-06-15 19:32:46
阅读次数：
2553
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类：
其他好文 时间：
2014-06-13 17:01:24
阅读次数：
142
阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可...
分类：
其他好文 时间：
2014-06-10 16:15:36
阅读次数：
185
