【甘道夫】通过bulk load将HDFS上的数据导入HBase

时间：2014-11-04 19:48:20 阅读：283 评论：0 收藏：0 [点我收藏+]

标签：style color ar 使用 sp strong 文件数据 div

引言

通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能，下面简单记录下关键步骤。

bulkload的详细情况请参见官网文档。

过程

第一步：每台机器执行

ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml

第二步：编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，拷贝到所有节点

末尾添加：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/lib/*:$ZOOKEEPER_HOME/zookeeper-3.4.6.jar

第三步：生成HFile文件

hadoop jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.2.0.jar importtsv -Dimporttsv.columns=${hbase_columns} -Dimporttsv.bulk.output=${hfile_path} ${hbase_table} ${source_data_path}

注意：

${hbase_columns}顺序列出了导入HBase后的每一列，格式【列族：限定符】。列的顺序需和${source_data_path}数据中的字段顺序匹配。计划作为rowkey的字段使用HBASE_ROW_KEY，例如“HBASE_ROW_KEY,SERVICE_INFO:ID,SERVICE_INFO:RRANK,SERVICE_INFO:SERVICE_CODE”
bulkload会自动创建${hfile_path}，只需指定，无需事先创建；
${hbase_table}可以带上namespace，例如"JILIN_SME_SP_RECS:SP_T_RE_GUL_SERVICE"
${source_data_path}这里我们使用的是一个hive的外部表数据目录。

第四步：导入数据到HBase

hadoop jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.2.0.jar completebulkload ${hfile_path} ${hbase_table}

【甘道夫】通过bulk load将HDFS上的数据导入HBase

标签：style color ar 使用 sp strong 文件数据 div

原文地址：http://blog.csdn.net/u010967382/article/details/40788415

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行