码迷,mamicode.com
首页 > 其他好文 > 详细

Hive和Hbase结合

时间:2019-01-14 14:29:18      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:字段   结合   ora   ado   map   cal   3.4   export   base   

Hive版本是2.1.1,Hbase版本是1.4.3

1. Hbase表映射到Hive表中
1.1 Hive的配置文件修改

1.1.1 修改hive-site.xml配置文件,添加配置属性

<property>
<name>hbase.zookeeper.quorum</name>
<value>server01:2181,server02:2181,server03:2181</value>
</property>
1
2
3
4
5


1.1.2 修改hive-env.sh文件

# 添加一个环境变量
export HIVE_CLASSPATH=$HIVE_CLASSPATH:/hadoop/hbase/lib/*
1
2
1.2 Hbase数据创建

 

1.2.1 在hbase中创建表,表名为hbase_test,有三个列族,分别为f1,f2,f3

create ‘hbase_test‘,{NAME => ‘f1‘,VERSION => 1},{NAME => ‘f2‘,VERSION => 1},{NAME => ‘f3‘,VERSION => 1}
1


1.2.2 向hbase_test表中插入数据

put ‘hbase_test‘,‘001‘,‘f1:name‘,‘liubei‘
put ‘hbase_test‘,‘001‘,‘f2:age‘,‘30‘
put ‘hbase_test‘,‘001‘,‘f3:sex‘,‘male‘

put ‘hbase_test‘,‘002‘,‘f1:name‘,‘guanyu‘
put ‘hbase_test‘,‘002‘,‘f2:age‘,‘28‘
put ‘hbase_test‘,‘002‘,‘f3:sex‘,‘female‘

put ‘hbase_test‘,‘003‘,‘f1:name‘,‘zhangfei‘
put ‘hbase_test‘,‘003‘,‘f2:age‘,‘27‘
put ‘hbase_test‘,‘003‘,‘f3:sex‘,‘male‘
1
2
3
4
5
6
7
8
9
10
11
1.2.3 scan查询

scan ‘hbase_test‘
1


1.3 Hive创建数据库,关联Hbase

1.3.1 创建Hive表

# 这里使用的是外部表,即便是删除hive表,Hbase的数据也存在

CREATE EXTERNAL TABLE hiveFromHbase(
rowkey string,
f1 map<STRING,STRING>,
f2 map<STRING,STRING>,
f3 map<STRING,STRING>
) STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:,f3:")
TBLPROPERTIES ("hbase.table.name" = "hbase_test");
1
2
3
4
5
6
7
8
9
10
hbase.columns.mapping:Hive表和HBase表的字段映射关系。

分别为:Hive表中第一个字段映射:key(rowkey),第二个字段映射列族f1,第三个字段映射列族f2,第四个字段映射列族f3

hbase.table.name:hbase表名称。

 

1.3.2 使用hive的HQL语句查询

select * from hivefromhbase;
1


1.3.3 Hive插入数据到Hbase表

insert into table hivefromhbase
select ‘004‘ as rowkey,
map(‘name‘,‘caocao‘) as f1,
map(‘age‘,‘34‘) as f2,
map(‘sex‘,‘male‘) as f3
from person;
1
2
3
4
5
6


1.3.4 Hbase中查询数据

scan ‘hbase_test‘
1


2. Hive表映射到Hbase中
2.1 在Hive中创建名称为hive_test的表

create table hive_test(
id string,
name string,
age int,
)STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler‘
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f2:age,f3:address")
TBLPROPERTIES ("hbase.table.name" = "hbasefromhive");
1
2
3
4
5
6
7


2.2 在Hbase中查看是否有hbasefromhive表生成

list
1


2.3 查看hbase的表结构

desc ‘hbasefromhive‘
1


2.4 将数据插入Hive的hive_test中

load data local inpath ‘/home/hadoop/student.txt‘ overwrite into table person;
1


2.5 查看Hive的hive_test表信息

select * from hive_test;
1


2.6 查看Hbase中的表信息

scan ‘hbasefromhive‘
1

---------------------
原文:https://blog.csdn.net/qq_33689414/article/details/80328665
版权声明:本文为博主原创文章,转载请附上博文链接!

Hive和Hbase结合

标签:字段   结合   ora   ado   map   cal   3.4   export   base   

原文地址:https://www.cnblogs.com/xiaohu-feng/p/10266082.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!