标签:
Hive文件存储格式包括以下几类:
1.TEXTFILE
2.SEQUENCEFILE
3.RCFILE
4.ORCFILE(0.11以后出现)
其中TEXTFILE是默认格式,建表是不指定默认为这个格式,导入数据时会直接把数据文件拷贝到HDFS上不进行处理。SEQUENCEFILE、RCFILE、RCFILE格式的表不能直接从本地文件导入数据,数据要先导入到TEXTFILE格式的表中,然后再从表中用insert导入到SEQUENCEFILE、RCFILE、ORCFILE等。
前提创建环境:hive0.8
创建一张testfile_table表,格式为textfile:
加载数据:
一、TEXTFILE
默认格式,数据不做压缩,磁盘开销大,数据解析开销大。
可结合Gzip、Bzip2使用(系统自动检查,执行查询时自动解压),但是使用这种方式,hive不会对数据进行切分,从无法对数据进行并行操作。
示例:
二、SEQUENCEFILE
SEQUENCEFILE是hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。SEQUENCEFILE支持三种压缩选择:NONE、RECORD、BLOCK。RECORD压缩率低,一般建议使用BLOCK压缩。
示例:
三、RCFILE
RCFILE是一种行列存储相结合方式。首先,其将数据按行分块,保证同一个record在一个块上,避免读一个记录需要读取多个block块。其次块数据列式存储,有利于数据压缩和快速的列存取。
示例:
标签:
原文地址:http://www.cnblogs.com/thinkpad/p/5173678.html