新项目准备上HBase。HBase眼下由组里某牛负责。本着学会使用HBase的目标，先阅读下HBase in Action，一共十章组织成三部分，须要学习的内容包含HBase基本实现原理，用法，Schema设计原则和实战等。借用Michael Stack（HBase Chair）的话，“At a h...
分类：
其他好文 时间：
2014-10-29 10:44:05
阅读次数：
182
启动hbase集群报错：2014-10-28 17:53:50,993 INFO [regionserver60020] regionserver.CompactSplitThread: Waiting for Small Compaction Thread to finish...2014-10-...
分类：
其他好文 时间：
2014-10-29 10:32:19
阅读次数：
213
kettle的javascript步骤自己写代码连接数据库，实现查询，更加灵活，一些业务场景中会用到。...
分类：
数据库 时间：
2014-10-29 09:14:21
阅读次数：
240
ClientHBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPCZookeeperZookeeper Quorum中除了存...
分类：
其他好文 时间：
2014-10-28 19:47:22
阅读次数：
164
本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2JDK：1.6操作系统：centOS6.3 64bit1. 安装snappy#yum install snappyInst...
分类：
其他好文 时间：
2014-10-28 17:00:52
阅读次数：
719
一、Impala简单介绍Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用同样的统一存储平台，Impala也使用同样的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。...
分类：
其他好文 时间：
2014-10-28 15:23:23
阅读次数：
467
我们知道，在第一次海量数据批量入库时，我们会选择使用BulkLoad的方式。简单介绍一下BulkLoad原理方式:(1)通过MapReduce的方式，在Map或者Reduce端将输出格式化为HBase的底层存储文件HFile。(2)调用BulkLoad将第一个Job生成的HFile导入到相应的HBa...
分类：
其他好文 时间：
2014-10-28 15:08:05
阅读次数：
273
启动hbase集群时，发现最后一个节点的HRegionServer进程没有成功启动，查找相关log，发现：时间超过了允许的时间下限，故需要同步集群时钟：（1）每个节点安装ntp服务 yum -y install ntp（2）ntpdate time.stdtime.gov.tw（台湾）重新启动hba...
分类：
系统相关 时间：
2014-10-25 18:38:09
阅读次数：
193
流程：1.X端发送数据到kafka（如web端发送的订单数据）。2.storm从kafka获取数据进行分析。 a.storm与kafka整合，获得数据——Sport b.storm对数据进行分析——Bolt 3.结果保存和显示（或者传给别人）。 a.将结果保存到DB（Hbase，redi...
分类：
其他好文 时间：
2014-10-25 17:13:49
阅读次数：
220
Apache HBase是Hadoop的分布式开源的存储管理工具，非常适合随机实时的io操作。
我们知道，Hadoop的Sequence File是一个顺序读写，批量处理的系统。但是为什么HBase能做到随机的，实时的io操作呢？
Hadoop底层使用Sequence File文件格式存储，Sequence File允许以追加的方式增加k-v（Key-Value）数据，根据hdfs的appen...
分类：
其他好文 时间：
2014-10-24 20:54:39
阅读次数：
269
