标签：
1.Hive分区表
Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。
创建分区表的语法：
- create table tablename(
- name string
- )partitioned by(key,type...);
示例
- drop table if exists employees;
- create table if not exists employees(
- name string,
- salary float,
- subordinate array<string>,
- deductions map<string,float>,
- address struct<street:string,city:string,num:int>
- ) partitioned by (date_time string,type string)
- row format delimited fields terminated by ‘\t‘
- collection items terminated by ‘,‘
- map keys terminated by ‘:‘
- lines terminated by ‘\n‘
- stored as textfile
- location ‘/hive/inner‘;
附：上述语句表示在建表时划分了date_time和type两个分区也叫双分区，一个分区的话就叫单分区，上述语句执行完以后我们查看表的结果会发现多了分区的两个字段。
结果如下：
注：在文件系统中的表现为date_time为一个文件夹，type为date_time的子文件夹。
向分区表中插入数据(要指定分区)
- hive> load data local inpath ‘/usr/local/src/employee_data‘ into table employees partition(date_time=‘2015-01_24‘,type=‘userInfo‘);
- Copying data from file:/usr/local/src/employee_data
- Copying file: file:/usr/local/src/employee_data
- Loading data to table default.employees partition (date_time=2015-01_24, type=userInfo)
- OK
- Time taken: 0.22 seconds
- hive>
数据插入后在文件系统中显示为：
注：从上图中我们就可以发现type分区是作为子文件夹的形式存在的。
添加分区：
- alter table employees add if not exists partition(date_time=‘2088-08-18‘,type=‘liaozhongmin‘);
注：我们可以先添加分区，再向对应的分区中添加数据。
查看分区：
- show partitions employees;
附：employees在这里表示表名。
删除不想要的分区
- alter table employees drop if exists partition(date_time=‘2015-01_24‘,type=‘userInfo‘);
再次查看分区：
2.Hive桶表
对于每一个表或者是分区，Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive是针对某一列进行分桶。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶中。分桶的好处是可以获得更高的查询处理效率。使取样更高效。
示例：
- create table bucketed_user(
- id int,
- name string
- )
- clustered by(id) sorted by(name) into 4 buckets
- row format delimited fields terminated by ‘\t‘
- stored as textfile;
我们使用用户id来确定如何划分桶(Hive使用对值进行哈希并将结果除于桶的个数取余数的方式进行分桶)
另外一个要注意的问题是使用桶表的时候我们要开启桶表：
- set hive.enforce.bucketing = true;
现在我们将表employees中name和salary查询出来再插入到这张表中：
- insert overwrite table bucketed_user select salary,name from employees;
我们通过查询语句可以查看插进来的数据：
数据在文件中的表现形式如下，分成了四个桶：
当从桶表中进行查询时，hive会根据分桶的字段进行计算分析出数据存放的桶中，然后直接到对应的桶中去取数据，这样做就很好的提高了效率。
Hive表的分区与分桶
标签：
原文地址：http://www.cnblogs.com/thinkpad/p/5173675.html
