Hive使用SequenceFile存储数据

时间：2015-06-08 14:54:05 阅读：104 评论：0 收藏：0 [点我收藏+]

标签：

SequenceFile是使用二进制保存数据，是可以压缩的，并且压缩后的数据可被分割，可以供mapreduce处理。

下面的实例使用SequenceFile保存Hive表的数据，并且使用了压缩。

set hive.exec.compress.output=true; #压缩mapreduce输出数据

set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec; #设置压缩算法

set mapreduce.output.fileoutputformat.compress.type=BLOCK; #块级压缩

标签：

原文地址：http://www.cnblogs.com/lishouguang/p/4560795.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行