码迷,mamicode.com
首页 > 其他好文 > 详细

[hadoop读书笔记] 第四章 Hadoop I/O操作

时间:2017-01-22 13:37:33      阅读:157      评论:0      收藏:0      [点我收藏+]

标签:上进   框架   数据处理   对象   ado   存储   读书   分享   二进制流   

 

P92 压缩

技术分享

 

技术分享

 

技术分享

 

 技术分享

 

P102 序列化

序列化:将结构化对象转为字节流便于在网上传输或写到磁盘进行永久性存储的过程

用于进程之间的通信或者数据的永久存储

反序列化:将字节流转为结构化对象的逆过程

Hadoop中的序列化:在Hadoop中,系统中多个节点上进程间的通信是通过远程过程传输RPC来实现的。

RPC协议将消息序列化成二进制流后发送到远程节点,远程节点接着将二进制流反序列化成原始信息。

 

Avro:一个独立于编程语言,并基于 IDL的序列化框架,非常适合用于Hadoop的大规模数据处理

 

[hadoop读书笔记] 第四章 Hadoop I/O操作

标签:上进   框架   数据处理   对象   ado   存储   读书   分享   二进制流   

原文地址:http://www.cnblogs.com/avivaye/p/6339973.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!