传统的的计算机系统通过I/O操作与外界交流，，Hadoop的I/O由传统的I/O系统发展而来，但是又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输入输出工具，本文会对其中的序列化和压缩进行研究。1序列化对象的序列化..
分类：
其他好文 时间：
2016-08-17 23:25:38
阅读次数：
241
序列化的概念 1.序列化(Serialization)是指把结构化对象转化为字节流。 2.反序列化(Deserialization)是序列化的逆过程，即把字节流转回结构化对象Hadoop序列化的特点 1.序列化格式特点 ——紧凑：高效使用 存储空间 ——快速：读写数据的额外开销小 ——可扩展：可透明
分类：
其他好文 时间：
2016-01-31 21:31:56
阅读次数：
359
序列化就是把内存中的对象的状态信息转换成字节序列，以便于存储（持久化）和网络传输反序列化就是就将收到的字节序列或者是硬盘的持久化数据，转换成内存中的对象。1.JDK的序列化 只要实现了serializable接口就能实现序列化与反序列化，一定要加上序列化版本ID serialVersionUID，....
分类：
编程语言 时间：
2015-09-10 22:31:19
阅读次数：
251
操作系统的调度算法 搜索引擎的优化 linux 查看内存 磁盘 进程 端口 命令mysql查看数据库连接，执行进度命令java序列化和hadoop序列化区别Storm原理Hadoop 的任务分配hadoop1.0与2.0架构区别网络协议为什么不采取除了geohash之外的算法 机器学习 数据挖掘 为...
分类：
其他好文 时间：
2015-09-09 22:40:42
阅读次数：
236
序列化（serialization）是指将结构化的对象转化为字节流，以便在进程间通信或者写入硬盘永久存储。相对的反序列化（deserialization）是指将字节流转回到结构化对象的过程。需要注意的是，能够在网络上传输的只能是字节流。所以，Map的中间结果在不同主机间Shuffle洗牌时，结构化对...
分类：
其他好文 时间：
2015-08-15 13:23:34
阅读次数：
114
1、序列化概念
1.序列化（Serialization）是指把结构化对象转化为字节流。
2.反序列化（Deserialization）是序列化的逆过程，把字节流转回结构化对象。
3.java序列化（java.io.Serialization）
2、hadoop序列化的特点
1.紧凑：高效实用存储空间
2.快速：读写数据的额外开销小
3.可扩展：可透明地读取老格式的数据
4.互操作：支持多语言的交互...
分类：
其他好文 时间：
2015-08-04 17:17:39
阅读次数：
155
序列化1、什么是序列化？
将结构化对象转换成字节流以便于进行网络传输或写入持久存储的过程。
2、什么是反序列化？
将字节流转换为一系列结构化对象的过程。序列化用途：1、作为一种持久化格式。
2、作为一种通信的数据格式。
3、作为一种数据拷贝、克隆机制。Java序列化和反序列化1、创建一个对象实现了Serializable
2、序列化：ObjectOutputStream.writeObj...
分类：
其他好文 时间：
2015-06-06 18:13:43
阅读次数：
168
序列化概念: 序列化（Serialization）是指把结构化对象转化为字节流。 反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。 Java序列化（java.io.Serializable）Hadoop序列化的特点 紧凑：高效使用存储空间。 快速：读...
分类：
其他好文 时间：
2015-04-27 07:08:40
阅读次数：
189
序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程（字节流）。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。...
分类：
编程语言 时间：
2015-04-22 14:00:54
阅读次数：
192
通过阅读Hadoop源码，针对org.apache.hadoop.conf和org.apache.hadoop.io包的部分类接口进行解读，主要包含了hadoop的资源配置类Configuration、hadoop的序列化机制、Writable的地位与继承实现关系、常用类解析等
分类：
其他好文 时间：
2015-02-11 00:25:14
阅读次数：
266
