码迷,mamicode.com
首页 > 其他好文 > 详细

Hive On HBase实战

时间:2019-10-27 15:06:08      阅读:149      评论:0      收藏:0      [点我收藏+]

标签:kafka   仓库   书籍   list   esc   main   conf   连接查询   cal   

1.概述

HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据,用于键值对操作。目前HBase是原生是不包含SQL操作,虽然说Apache Phoenix可以用来操作HBase表,但是需要集成对应的Phoenix依赖包到HBase集群中,同时需要编写对应的Schema才能实现SQL操作HBase。

本篇博客,笔者将为大家介绍另一位一种SQL方式来操作HBase,那就是Hive。

2.内容

2.1 使用场景

熟悉大数据的同学应该都知道,Hive是一个分布式的数据仓库,它能够将海量数据,结构化存储到HDFS上,然后通过SQL的方式对这些海量数据进行业务处理。而且,Hive学习成本很低,熟悉SQL的同学,很快就能编写一个Hive应用程序。

我们通过Hive把数据加载到HBase表中时,数据源可以是文件,也可以是表。当HBase集群集成Hive后,如果对Hive表追加数据的同时,HBase表中的数据也会增加。在原生的HBase集群中,HBase表不支持连接查询或是分组查询等,但是我们可以通过Hive On HBase的方式来让HBase集群支持这些功能。比如,事先将数据加载到Hive表中,然后通过Hive SQL的JOIN、GROUP BY等语法来操作。

2.2 基础环境

实战的基础环境信息如下所示:

组件 版本
Hadoop 2.7.4
Hive 3.1.2
HBase 1.2.0
JDK 1.8

2.3 Hive On HBase表

Hive字段和HBase中的列都是通过Storage Handler来维护的。创建Hive表时,把存储格式指定为Storage Handler,这个程序被编译成一个独立的模块,在Java中它就是一个独立的Jar包,比如hive-hbase-handler-{version}.jar,Hive的客户端必须要能够识别到这个JAR,可以通过--auxpath来指定,操作命令如下:

hive --auxpath hive-hbase-handler-{version}.jar --hiveconf hbase.master=hbasemaster:60000

接着将HBase安装目录lib下的包复制到Hive安装目录lib中,操作命令如下:

cp -r $HBASE_HOME/lib/* $HIVE_HOME/lib

最后,执行hive命令启动Hive客户端窗口。

在Hive集成HBase时,可以有效的利用HBase的存储个性,比如更新和索引等。Hive表需要与HBase之间建立映射关系,创建Hive表名如下:

CREATE TABLE hbase_table_1(
    key int, 
    value string
) STORED BY org.apache.hadoop.hive.hbase.HBaseStorageHandler
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") 
TBLPROPERTIES (
    "hbase.table.name" = "xyz", 
    "hbase.mapred.output.outputtable" = "xyz"
);

然后,执行hbase shell来查看创建的HBase表,命令如下:

hbase(main):001:0> list
xyz                                                                                                           
1 row(s) in 0.0530 seconds
hbase(main):002:0> describe ‘xyz‘
DESCRIPTION                                                             ENABLED                               
 {NAME => xyz, FAMILIES => [{NAME => ‘cf1‘, COMPRESSION => ‘NONE‘, VE true                                  
 RSIONS => ‘3‘, TTL => ‘2147483647‘, BLOCKSIZE => ‘65536‘, IN_MEMORY =>                                       
  ‘false‘, BLOCKCACHE => ‘true‘}]}                                                                            
1 row(s) in 0.0220 seconds
hbase(main):003:0> scan ‘xyz‘
ROW                          COLUMN+CELL

2.4 加载数据源到Hive表

然后,将HDFS上的文本文件加载到一个临时的Hive表中,操作命令如下所示:

hive -e "load data local inpath /hbase/hive/data/testdata.txt overwrite into table hive_on_hbase_test;"

接着,把hive_on_hbase_test表中的数据加载到hbase_table_1表中,操作命令如下:

insert overwrite table hbase_table_1 select * from hive_on_hbase_test;

2.4.1 查询Hive表

查询hbase_table_1表是否有数据,查询语句如下:

hive> select * from hbase_table_1;
Total MapReduce jobs = 1
Launching Job 1 out of 1
...
OK
100    val_100
Time taken: 3.582 seconds

正常情况下,显示结果会与testdata.txt文件中的数据是一致的。

2.4.2 查询HBase表

当hbase_table_1表正常加载数据后,我们可以使用HBase的Scan命令来查看数据,具体操作命令如下:

hbase(main):001:0> scan xyz,LIMIT=>1
ROW                       COLUMN+CELL                                                                      
100                       column=cf1:val, timestamp=1572154138015, value=val_100                            
1 row(s) in 0.0110 seconds

这里防止数据显示过多,我们设置一下限制条件。

由于WAL开销,插入大量数据可能会很慢;如果要禁用此功能,可以执行如下命令:

set hive.hbase.wal.enabled=false;

这里需要注意的是,如果HBase发生故障,禁用WAL可能会导致数据丢失,因此只有在有其他可用的恢复策略时才建议使用此选项。

2.4.3 外部表

如果需要使用Hive访问已存在的HBase表时,可以使用Hive外部表,操作命令如下:

CREATE EXTERNAL TABLE hbase_table_2(
    key int, 
    value string
) STORED BY org.apache.hadoop.hive.hbase.HBaseStorageHandler
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "cf1:val")
TBLPROPERTIES(
    "hbase.table.name" = "xyz2", 
    "hbase.mapred.output.outputtable" = "xyz2"
);

然后,在Hive客户端中查询外部表的数据,操作命令如下:

select * from hbase_table_2;

3.总结

Hive On HBase集成比较简单,实现难度不算太大。如果有离线场景(延时要求不高),或者需要使用SQL来做JOIN、GROUP BY等操作的业务场景,可以尝试用Hive On HBase的方式来实现。

4.结束语

这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

另外,博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》,喜欢的朋友或同学, 可以在公告栏那里点击购买链接购买博主的书进行学习,在此感谢大家的支持。关注下面公众号,根据提示,可免费获取书籍的教学视频。

Hive On HBase实战

标签:kafka   仓库   书籍   list   esc   main   conf   连接查询   cal   

原文地址:https://www.cnblogs.com/smartloli/p/11747324.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!