码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop IO操作之序列化

时间:2018-01-26 23:00:04      阅读:181      评论:0      收藏:0      [点我收藏+]

标签:高效   io操作   indent   writable   div   例子   tput   size   extend   

前言:为什么Hadoop基本类型还要定义序列化?

  1、Hadoop在集群之间通信或者RPC调用时需要序列化,而且要求序列化要快,且体积要小,占用带宽小。

  2、java的序列化机制占用大量计算开销,且序列化结构体积过大,它的引用机制也导致大文件不能被切分,浪费空间,此外,很难对其他语言进行扩展使用。

  3、java 的反序列化过程每次都会构造新的对象,不能复用对象。

Hadoop定义了两个序列化相关的接口

  -Writable

  -Comparable

WritableComparable接口相当于继承了上述两个接口的新接口。

         Public interface WritableComparable<T>  extends Writable,Comparable<T>
Writable接口

   基于DataInput与DataOutput的简单高效可序列化接口,就是org.apache.hadoop.io.Writable接口

   几乎所有的hadoop可序列化对象都必须实现这个接口有2个方法,Write,readFiles

下面以IntWritable为例,它把java的int类型封装成了Writable序列化格式,并且可以通过set()设置它的值

   -new IntWritable().set(100);   -new IntWritable(100);

    WritableComparable接口

  类似java的Comparable接口,用于类型的比较。MR其中一个阶段叫排序,默认使用Key来排序。Hadoop提供了一个优化接口RawComparator。

  Public interface RawComparator<T> extends Comparator<T>{
        Public int compare(byte[]  b1,int s1,int l1,byte[] b2,int s2,int l2);
  }
  可以比较b1和b2,允许执行者直接比较数据流记录,而无须先把数据流反序列化成对象,这样可以避免新建对象的开销

  例子:

A implements Writable,comparable{
write(DataInputStream);
DataInputStream readFiles();
comparaTo (B b){ // 二次排序
if(b.x > a.x)
}
equals();
hascode();
}
A实现了上述两种接口,就可以作为hadoop的类.

Hadoop IO操作之序列化

标签:高效   io操作   indent   writable   div   例子   tput   size   extend   

原文地址:https://www.cnblogs.com/1iHu4D0n9/p/8361077.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!