在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K
启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次）
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升，但如果要...
分类：
其他好文 时间：
2014-06-19 10:16:00
阅读次数：
296
OpenTSDB是基于HBase存储时间序列数据的一个开源数据库，确切地说，它只是一个HBase的应用而已，其对于时间序列数据的处理可以供其他系统参考和借鉴。本文会针对它在数据库的设计方面展开一些探索和讨论。本文基于的是OpenTSDB最早的一个稳定版本1.0.0进行讲解的，下载部署完成之后，我们首先需要了解的是它的数据库Schema， 它主要有两个表：tsdb-uid和tsdb. 前者描述指标（...
分类：
数据库 时间：
2014-06-16 20:55:00
阅读次数：
308
目标：学习Hbase，实现在本地文件系统中中安装Hbase参考资料：apache官方文档，HbaseQuickStart环境：MacOS上运行虚拟机，虚拟机中操作系统为CentOS安装过程： 1、安装JDK，本次安装过程中使用的JDK版本是jdk1.8。下载JDK后，执行默认安装； 2、下载HBase（http://mirror.esocc..
分类：
其他好文 时间：
2014-06-16 15:32:25
阅读次数：
191
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类：
其他好文 时间：
2014-06-13 17:01:24
阅读次数：
142
高性能WEB开发(11) - flush让页面分块,逐步呈现
在处理比较耗时的请求的时候，我们总希望先让用户先看到部分内容，让用户知道系统正在进行处理，而不是无响应。一般大家在处理这种情况，都使用ajax，先把html输出到客户端，然后再用ajax取加载比较耗时的资源。用ajax麻烦的地方是增加了请求数，而且需要写额外的js代码、和js调用的请求接口。
正对这种情况，还有一种处理方法，就是让response分块编码进行传输。response分块编码，可以先传输一部分不需要处理的h...
分类：
Web程序 时间：
2014-06-11 06:02:40
阅读次数：
349
阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可...
分类：
其他好文 时间：
2014-06-10 16:15:36
阅读次数：
185
一、环境
OS：CentOS release 5.8(64位)
DB：MySQL5.5.17
二、操作
直接通过命令 rm -f 删除了慢查询日志
三、出现问题
慢查询日志没有自动生成，（如果有备份，再次拷贝回来也是不好使的）
四、解决方法
管理员身份登录MySQL 执行命令 flush ...
分类：
数据库 时间：
2014-06-10 10:44:52
阅读次数：
406
新项目准备上HBase。HBase目前由组里某牛负责。本着学会使用HBase的目标，先阅读下HBase in Action，学习内容包括HBase基本实现原理，使用方法，Schema设计原则和实战等。借用Michael Stack（HBase Chair）的话，“At a highlevel, HBase is like theatomic bomb.
Its basic operation...
分类：
其他好文 时间：
2014-06-10 06:33:37
阅读次数：
328
