码迷,mamicode.com
首页 > 其他好文 > 详细

[译]SequenceFile、MapFile、SetFile、ArrayFile、BloomMapFile

时间:2014-08-07 22:34:48      阅读:294      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   color   io   文件   数据   for   

  Apache Hadoop的SequenceFile提供了一种把数据以二进制key-value对的形式保存到hdfs上的方式。跟其他key-value

数据结构相比(比如B-Tree),SequenceFile不能修改、删除数据,也不能在数据中间插入数据。SequenceFile只能往尾

部追加数据。

bubuko.com,布布扣

  SequenceFile提供了三种存储形式:

1.Uncompressed Format    :无压缩格式
2.Record Compressed      :记录压缩格式
3.Block Compressed       :块压缩格式

这三种存储格式的header部分都是相同的。他们header部分都包含如下信息,这些信息将被SequenceFile.Reader读取。

bubuko.com,布布扣

 

1.header部分包括key和value的class类型,SequenceFile.Reader会通过读取这两个属性并通过反射将其实例化;

2.version包括sequenceFile的version信息;

3.Is Compressed用来指定是否是Record Compressed;

4.Is Block Compressed用来指定是否是Block Compressed
5.MetaData是一个key-value的列表结构,可以用来存储文件的元数据。key-value对只能是<Text,Text>类型的。而且该信息
  是在SequenceFile.Writer的构造方法写入的。无法修改。
  bubuko.com,布布扣
6.

 

未完待续。。。

[译]SequenceFile、MapFile、SetFile、ArrayFile、BloomMapFile,布布扣,bubuko.com

[译]SequenceFile、MapFile、SetFile、ArrayFile、BloomMapFile

标签:style   blog   http   color   io   文件   数据   for   

原文地址:http://www.cnblogs.com/sysman/p/3897984.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!