hadoop学习笔记（十一）：MapReduce数据类型

时间：2018-04-28 11:42:18 阅读：231 评论：0 收藏：0 [点我收藏+]

标签：接口为什么 ccf 接口实现 round ring 概念 border 分布

一、序列化

1 hadoop自定义了数据类型，在hadoop中，所有的key/value类型必须实现Writable接口。有两个方法，一个是write，一个是readFileds。分别用于读（反序列化操作）和写（序列化操作）。

2 所有的key必须实现Comparable接口，在MapReduce过程中需要对key/value对进行反复的排序，默认情况下依据key进行排序，要实现compareTo()方法，所以通过key既要实现Writable接口又要实现Comparable接口。

3 因此，hadoop中提供了一个公共的接口WritableComparable接口，这个接口继承了Writable和Comaprable接口。

4 由于需要序列化和反序列化和比较，需要对java对象重写一下几个方法：

　　1、equlas()方法。

　　2、hashcode()方法。

　　3、toString()方法。

　　4、数据类型必须有一个默认的无参的构造方法，为了方便反射，进行创建对象。

序列化的概念：

所谓序列化（serialization），是指将结构化对象转化为字节流，以便在网络上传输或写到磁盘进行永久存储。

在分布式数据里的两大领域里，序列化经常出现，进程间通信和永久存储。

在hadoop中，系统多个节点上进程间的通信是通过“远程过程调用”（remote procedure call,RPC）实现的。RPC协议将消息序列化成二进制流后发送到远程节点，远程节点接着将二进制流反序列化为原始消息。

hadoop使用自己的序列化格式（Writable），它格式紧凑、速度快，但很难用Java以外的语言进行扩展或使用。因为Writable是hadoop核心（大多数MapReduce程序都会以键和值使用它）。

反序列化的概念：

反序列化是指将字节流转回结构化对象的过程。

二、数据类型

数据类型都实现了Writable接口，以便用这些类型定义的数据可以被序列化进行网络传输和文件存储。

基本数据类型：

Java基本数据类型	名称	类型	序列化大小
boolean	BooleanWritable	标准布尔类型数值	1
byte	ByteWritable	单字节数值	1
double	DoubleWritable	双字节数值	8
float	FloatWritable	浮点数	4
int	IntWritable	整型数	4
	VintWritable	可变长度整型数	1~5
long	LongWritable	长整型数	8
	VlongWritable	可变长度长整型数	1~9
	Text	使用UTF-8格式存储文本
	NullWritable	当<key,value>中的key或value为空时使用

注意：在自定义数据类型中，建议使用java原生的数据类型，最好不要使用hadoop封装的数据类型。

三、比较器（Comparable）

当数据写入磁盘时，如果要进行排序的话，需要首先从磁盘读取数据，进行反序列化成对象，然后在内存中对反序列化的对象进行比较。为什么不直接在内存中就直接进行比较呢？

如果要实现上述功能，hadoop数据类型需要实现一个接口RawComparator接口。

RawComarator

技术分享图片

对MapReduce来说，类型的比较是非常重要的，因为中间有一个基于键的排序阶段。hadoop提供的一个优化接口是继承自Java Comparator的RawComparator接口。

该接口允许其实现直接比较数据流中的记录，无须先把数据反序列化为对象，这样便避免了新建对象的额外开销。例如，我们根据IntWritable接口实现的comparator实现了comare()方法，该方法可以从每个字节数组b1和b2中读取给定起始位置（s1和s2）以及长度（l1和l2）的一个整数进而直接进行比较。

WritableComarator是对继承自WritableComparable类的RawComaparator类的一个通用实现，它提供两个主要功能。

第一、它提供了对原始compare()方法的一个默认实现，该方法能够反序列化在流中进行比较的对象，并调用对象的compare()方法。

第二、它充当的是RawComparator实例的工厂（已注册Writable的实现）。例如，为了获得IntWritable的comparator，我们直接如下调用：

技术分享图片