码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop_21_编写MapReduce程序实现Join功能

时间:2018-06-29 11:11:27      阅读:134      评论:0      收藏:0      [点我收藏+]

标签:序列   转换   快速   持久   字节流   取数据   sts   IV   etop   

1.序列化与Writable接口

1.1.hadoop的序列化格式

  序列化和反序列化就是结构化对象和字节流之间的转换,主要用在内部进程的通讯和持久化存储方面

  hadoop在节点间的内部通讯使用的是RPC,RPC协议把消息翻译成二进制字节流发送到远程节点,远程节点再通过反序
列化把二进制流转成原始的信息  
  hadoop自身的序列化存储格式实现了Writable接口的类,他只实现了前面压缩和快速。但是不容易扩展也不跨语言
  我们先来看下Writable接口,Writable接口定义了两个方法:
  1.将数据写入到二进制流中
  2.从二进制数据流中读取数据
  技术分享图片

2.reduce端join算法实现

 

  

 

 

 

 

 

 

 

 

 

 

Hadoop_21_编写MapReduce程序实现Join功能

标签:序列   转换   快速   持久   字节流   取数据   sts   IV   etop   

原文地址:https://www.cnblogs.com/yaboya/p/9241740.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!