【转】华为HBase索引模块应用：HBase二级索引模块：hindex调研 2014年10月16日

源码介绍

hindex基于HBase 0.94.8实现，运行在HBase服务端，采用协处理器实现索引表的维护和查询：

• org.apache.hadoop.hbase.index.coprocessor.master.IndexMasterObserver
  拦截DDL操作，在数据库表发生创建/删除/Enable/Disable/Drop操作时同步创建/更改/删除Index表。并且拦截region balance过程，在HFile发生合并和分裂时同步修改Index表，确保Index表的记录与统一Rowkey的数据记录永远在同一Region Server，加快查询效率。

• org.apache.hadoop.hbase.index.coprocessor.regionserver.IndexRegionObserver
  拦截数据库表的Put/Delete/Get/Scan/Flush等操作，同步更新Index表的数据。

• org.apache.hadoop.hbase.index.coprocessor.wal.IndexWALObserver 同步WAL操作，在Region Server的预写区域发生操作时判断Index Table是否需要同步操作，将预写操作提交到Region Server。

源码包含完整的hbase-0.94.8的实现，与二级索引相关的代码都在/secondaryindex/src/main/java目录。

目前已经实现了索引表同步/索引表Balance/索引同步/索引SCAN。发布说明中待实现功能如下：

• Dynamically add/drop index
• Integrate Secondary Index Management in the HBase Shell
• Optimize range scan scenarios
• HBCK tool support for Secondary index tables
• WAL Optimizations for Secondary index table entries
• Make Scan Evaluation Intelligence Pluggable

使用说明

下载源码，采用maven编译：

mvn package -DskipTests=true 

将编译产物上传到HBase服务器：

scp target/hbase-0.94.8.jar user@server:$HBASE_HOME/conf/ 

HBase配置(hbase-env.sh)：

export HBASE_CLASSPATH=$HBASE_HOME/conf/hbase-0.94.8.jar 

HBase配置(hbase-site.xml)：

<property>
 <name>hbase.coprocessor.master.classes</name>
 <value>org.apache.hadoop.hbase.index.coprocessor.master.IndexMasterObserver</value>
</property>
<property>
 <name>hbase.coprocessor.region.classes</name>
 <value>org.apache.hadoop.hbase.index.coprocessor.regionserver.IndexRegionObserver</value>
</property>
<property>
 <name>hbase.coprocessor.wal.classes</name>
 <value>org.apache.hadoop.hbase.index.coprocessor.wal.IndexWALObserver</value>
</property> 

重新启动HBase，访问：

• http://hbase-server:60010/master-status
• http://hbase-server:60030/rs-status

可以看到协处理器已经安装成功：

Coprocessors [IndexMasterObserver]
Coprocessors [IndexRegionObserver, IndexWALObserver]

调用hbase和hindex的Java api实现创建表并且在表上创建索引：

 IndexedHTableDescriptor htd = new IndexedHTableDescriptor(usertableName);
 IndexSpecification iSpec = new IndexSpecification(indexName);
 HColumnDescriptor hcd = new HColumnDescriptor(columnFamily);
 iSpec.addIndexColumn(hcd, indexColumnQualifier, ValueType.String, 10);
 htd.addFamily(hcd);
 htd.addIndex(iSpec);
 admin.createTable(htd); 

按照预料的情况，后台应该会同时出现数据表和索引表，向数据表中插入数据时，索引表中会按照索引定义自动出现反向索引。可是没有出现这个现象，why？

版本兼容性

原因是hindex和现场的HBase版本不兼容性。hindex基于hbase-0.94.8版本开发，但是现场采用的是hbase-0.94.6-cdh4.3.0，是由Cloudera基于hbase-0.94.6开发的，这两个版本的协处理器接口不一致。以MasterObserver为例，拦截create table操作在hbase-0.94.8中如下：

• postCreateTable(ObserverContext<MasterCoprocessorEnvironment>, HTableDescriptor, HRegionInfo[])
• postCreateTableHandler(ObserverContext<MasterCoprocessorEnvironment>, HTableDescriptor, HRegionInfo[])
• preCreateTable(ObserverContext<MasterCoprocessorEnvironment>, HTableDescriptor, HRegionInfo[])
• preCreateTableHandler(ObserverContext<MasterCoprocessorEnvironment>, HTableDescriptor, HRegionInfo[])

在hbase-0.94.6中如下：

• postCreateTable(ObserverContext<MasterCoprocessorEnvironment>, HTableDescriptor, HRegionInfo[])
• preCreateTable(ObserverContext<MasterCoprocessorEnvironment>, HTableDescriptor, HRegionInfo[])

因此在hindex中实现的协处理器无法按照预订的流程建立索引表。跟踪hbase的mastar日志，只有调用preCreateTable和postCreateTable的日志，preCreateTableHandler和postCreateTableHandler中的代码都没有执行。

尝试一下修改IndexMasterObserver的方法，按照hbase-0.94.6的接口名称实现，重新部署，创建数据表和索引后，发现索引表自动创建成功了：

User Table Online Regions Description
test 1 {NAME => ‘test’, FAMILIES => [{NAME => ‘info’}]}
test_idx 1 {NAME => ‘test_idx’, SPLIT_POLICY => ‘org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy’, MAX_FILESIZE => ‘9223372036854775807’, FAMILIES => [{NAME => ‘d’}]}

但是只有空的索引表，索引数据还没有进入到索引表中。需要再修改IndexRegionObserver和IndexWALObserver，还要处理HFile分裂与合并的情况，总之要把secondary index的功能完全移植到hbase-0.94.6-cdh4.3.0。还是算了吧。

查一下CDH有没有基于hbase-0.94.8的版本。CDH目前已经开发到5.0.0-beta-1，基于hbase-0.95.2开发：
CDH-Version-and-Packaging-Information。

看来无论是cdh4.5.0还是cdh5.0.0-beta1都没有直接基于hbase-0.94.8。如果想使用hindex的功能，需要做移植和测试工作。当然也可以选择使用Apache原生的hbase-0.94.8，但是这个版本没有基于Hadoop 2的部署版，只能基于Hadoop 1部署。

在查询需求比较确定的情况下，可以预先规划索引结构，相信hindex是一个很好的方案，是值得一搞的。有时间的话继续研究。