hive 构建外表及分区

标签：

    hive里分了create table和create external table，external table的好处就是表结构和数据是解绑的，删除表并不会删除数据，表相当于就是定义了去解析相对应的文件时的规范而已。

    一个比较常见的应用场景是将网站的用户浏览数据建立一个外表，然后按天做分区加快查找效率。

创建表

create EXTERNAL table sms_detail(

    mobile_type int,

    msg_id bigint)

partitioned by (data_date string)

 

ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘

lines terminated by ‘\n‘ stored as textfile;

我们建立了一张叫做sms_detail的外表，现在不需要任何数据的，我们定义了分区字段data_date。分区字段相当于数据表多了一个字段，这个字段在select *时是不会出现的，但是可以放在where之后

插入数据和分区

很多时候我们会按天分区，比如我们hdfs上的文件结构是这样的/home/user1/smsdata/2015-03-18,/home/user1/smsdata/2015-03-19。。。然后我们现在要把数据和外表对应起来，命令如下

alter table sms_detail add if not exists partition(data_date=‘2015-03-18‘) location ‘/share/comm/esp/sms/sms_detail/2015-03-18‘

这条命令往外表上添加了一个新的partition，并且把location对应的数据和这个partition对应上了。这之后在hive执行select * from sms_detail where data_date=‘2015-03-18‘时，程序就直接会去‘/share/comm/esp/sms/sms_detail/2015-03-18‘文件夹下找。2015-03-19的数据也可以按相同的方法加入。

hive 构建外表及分区

标签：

原文地址：http://www.cnblogs.com/barthu/p/4477547.html