码迷,mamicode.com
首页 > 其他好文 > 详细

Hive 基本语法操练(二):分区操作和桶操作

时间:2018-05-22 22:06:03      阅读:188      评论:0      收藏:0      [点我收藏+]

标签:信息   force   hash   not   这一   环境变量   query   limit   style   

(一)分区操作

Hive 的分区通过在创建表时启动 PARTITION BY 实现,用来分区的维度并不是实际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用 WHERE 语句, 例如使用 “WHERE tablename.partition_key>a” 创建含分区的表。创建分区语法如下。

CREATE TABLE table_name(
...
)
PARTITION BY (dt STRING,country STRING)

 

1、 创建分区

Hive 中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash 分区,混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说,在表的数据文件中实际并不保存分区列的信息与数据。

创建一个简单的分区表。

hive> create table partition_test(member_id string,name string) partitioned by (stat_date string,province string) row format delimited fields terminated by ,;

 

这个例子中创建了 stat_date 和 province 两个字段作为分区列。通常情况下需要预先创建好分区,然后才能使用该分区。例如:

hive> alter table partition_test add partition (stat_date=2015-01-18,province=beijing);

 

这样就创建了一个分区。这时会看到 Hive 在HDFS 存储中创建了一个相应的文件夹。

$ hadoop fs -ls /user/hive/warehouse/partition_test/stat_date=2015-01-18
/user/hive/warehouse/partition_test/stat_date=2015-01-18/province=beijing----显示刚刚创建的分区

 

每一个分区都会有一个独立的文件夹,在上面例子中,stat_date 是主层次,province 是 副层次。

2、 插入数据

使用一个辅助的非分区表 partition_test_input 准备向 partition_test 中插入数据,实现步骤如下。

1) 查看 partition_test_input 表的结构,命令如下。

hive> desc partition_test_input;

 

2) 查看 partition_test_input 的数据,命令如下。

hive> select * from partition_test_input;

 

3) 向 partition_test 的分区中插入数据,命令如下。

insert overwrite table partition_test partition(stat_date=2015-01-18,province=jiangsu) select member_id,name from partition_test_input where stat_date=2015-01-18 and province=jiangsu;

 

向多个分区插入数据,命令如下。

hive> from partition_test_input
insert overwrite table partition_test partition(stat_date=2015-01-18,province=jiangsu) select member_id,name from partition_test_input where stat_date=2015-01-18 and province=jiangsu
insert overwrite table partition_test partition(stat_date=2015-01-28,province=sichuan) select member_id,name from partition_test_input where stat_date=2015-01-28 and province=sichuan
insert overwrite table partition_test partition(stat_date=2015-01-28,province=beijing) select member_id,name from partition_test_input where stat_date=2015-01-28 and province=beijing;

 

3、 动态分区

按照上面的方法向分区表中插入数据,如果数据源很大,针对一个分区就要写一个 insert ,非常麻烦。使用动态分区可以很好地解决上述问题。动态分区可以根据查询得到的数据自动匹配到相应的分区中去。

动态分区可以通过下面的设置来打开:

set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict; 

 

动态分区的使用方法很简单,假设向 stat_date=‘2015-01-18‘ 这个分区下插入数据,至于 province 插到哪个子分区下让数据库自己来判断。stat_date 叫做静态分区列,province 叫做动态分区列。

hive> insert overwrite table partition_test partition(stat_date=2015-01-18,province)
select member_id,name province from partition_test_input where stat_date=2015-01-18;

 

注意,动态分区不允许主分区采用动态列而副分区采用静态列,这样将导致所有的主分区都要创建副分区静态列所定义的分区。

    hive.exec.max.dynamic.partitions.pernode:每一个 MapReduce Job 允许创建的分区的最大数量,如果超过这个数量就会报错(默认值100)。

    hive.exec.max.dynamic.partitions:一个 dml 语句允许创建的所有分区的最大数量(默认值100)。

    hive.exec.max.created.files:所有 MapReduce Job 允许创建的文件的最大数量(默认值10000)。

尽量让分区列的值相同的数据在同一个 MapReduce 中,这样每一个 MapReduce 可以尽量少地产生新的文件夹,可以通过 DISTRIBUTE BY 将分区列值相同的数据放到一起,命令如下。

hive> insert overwrite table partition_test partition(stat_date,province)
select memeber_id,name,stat_date,province from partition_test_input distribute by stat_date,province;

 

(二)桶操作

Hive 中 table 可以拆分成 Partition table 和 桶(BUCKET),桶操作是通过 Partition 的 CLUSTERED BY 实现的,BUCKET 中的数据可以通过 SORT BY 排序。

BUCKET 主要作用如下。

1)数据 sampling;

2)提升某些查询操作效率,例如 Map-Side Join。

需要特别主要的是,CLUSTERED BY 和 SORT BY 不会影响数据的导入,这意味着,用户必须自己负责数据的导入,包括数据额分桶和排序。 ‘set hive.enforce.bucketing=true‘ 可以自动控制上一轮 Reduce 的数量从而适配 BUCKET 的个数,当然,用户也可以自主设置 mapred.reduce.tasks 去适配 BUCKET 个数,推荐使用:

hive> set hive.enforce.bucketing=true;

 

操作示例如下。

1) 创建临时表 student_tmp,并导入数据。

hive> desc student_tmp;
hive> select * from student_tmp;

 

2) 创建 student 表。

hive> create table student(id int,age int,name string)
partitioned by (stat_date string)
clustered by (id) sorted by(age) into 2 bucket
row format delimited fields terminated by ,;

 

3) 设置环境变量。

hive> set hive.enforce.bucketing=true;

 

4) 插入数据。

hive> from student_tmp
insert overwrite table student partition(stat_date=2015-01-19)
select id,age,name where stat_date=2015-01-18 sort by age;

 

5) 查看文件目录。

$ hadoop fs -ls /usr/hive/warehouse/student/stat_date=2015-01-19/

 

6) 查看 sampling 数据。

hive> select * from student tablesample(bucket 1 out of 2 on id);

 

tablesample 是抽样语句,语法如下。

tablesample(bucket x out of y)

 

y 必须是 table 中 BUCKET 总数的倍数或者因子。

 

以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢! 

 版权声明:本文为博主原创文章,未经博主允许不得转载。

Hive 基本语法操练(二):分区操作和桶操作

标签:信息   force   hash   not   这一   环境变量   query   limit   style   

原文地址:https://www.cnblogs.com/zimo-jing/p/9073975.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!