InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1)数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的s...
分类：
其他好文 时间：
2014-07-09 23:49:37
阅读次数：
487
我们在MapReduce中TextInputFormat分片和读取分片数据源码级分析 这篇中以TextInputFormat为例讲解了InputFormat的分片过程以及RecordReader读取分片数据的过程。接下来咱们分析TableInputFormat的分片信息和数据读取过程。 Tab...
分类：
其他好文 时间：
2014-07-07 20:09:05
阅读次数：
260
NoSQL数据库的分布式模型单一服务器在一个服务器完全能够胜任工作时就没必要考虑分布式，这样部署简单，维护也方便很多；分片特点数据的各个部分存放在集群的不同服务器中； 比如按字母来划分：以a-g开头的键值都存放到第一台服务器上，以h-n开头的存放到第二台...需要考虑的问题如何存放数据，让用户基本上...
分类：
数据库 时间：
2014-06-30 23:15:40
阅读次数：
327
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Serv...
分类：
数据库 时间：
2014-06-30 22:41:02
阅读次数：
285
IP协议详解
上一篇文章文章主要介绍了IP服务的特点,IPv4头部结构IP分片，并用tcpdump抓取数据包，来观察IP数据报传送过程中IP的格式，以及分片的过程。本文主要介绍IP路由，IP转发，重定向和IPv6头部结构。
IP路由
IP协议的一个核心任务是数据报的路由，即决定发送数据报到目标机器的路径。为了理解IP路由过程，我们先简要分析IP模块的基本流程。...
分类：
其他好文 时间：
2014-06-26 14:06:40
阅读次数：
432
数据链路层：mtu的限制在这层
14字节：6字节目标mac，6字节源mac，2字节type，
网络层：（ip dns arp）分片重组在这层，每个包长不可超过mtu
只举例ip协议：
20字节160bits：4位版本 4位头长，8位服务类型16位总长度
16位标示3位标志13位片偏移
...
分类：
其他好文 时间：
2014-06-26 13:41:58
阅读次数：
274
IP协议详解
IP头部信息：IP头部信息出现在每个IP数据报中，用于指定IP通信的源端IP地址、目的端IP地址，知道IP分片和重组。
IP数据报的路由和转发：IP数据报的路由和转发发生在出目标机器之外的所有主机和路由器上。他们决定数据报是否应该转发以及如何转发。
IP服务的特点
IP协议是TCP/IP协议族的动力，它为上层协议提供无状态、无连接、不可靠的服务。...
分类：
其他好文 时间：
2014-06-26 07:48:41
阅读次数：
306
OFMessageDecoder 继承了抽象类 FrameDecoder。FrameDecoder 会将接收到的ChannelBuffers 转换成有意义的 frame 对象，在基于流的传输过程中，通常会发生分片和重组的情况，所以就需要一个解码器，根据特定协议的约束，将收到的包理解为相应的，易于应用逻辑层处理的对象。
这里调用的是 BasicFactory 的 parseMe...
分类：
其他好文 时间：
2014-06-24 19:59:04
阅读次数：
224
本文只是对TCP协议做个简要的介绍。
TCP协议，即传输控制协议，与UDP协议同处于传输层，同样使用相同的网络层，但TCP提供了一种可靠的、面向连接的数据传输服务，它会在两个使用TCP的应用之间建立一个TCP连接，在该连接上进行数据的传输。
TCP通过以下方式提供可靠性：
1、应用程序被分割成TCP认为最合适发送的数据块。这点与UDP完全不同，应用程序产生的UDP数据报长度将保持不变，加上IP首部后，才会进行IP分片。
2、当TCP发出一个报文段后，它会启动一个定时器，等待目...
分类：
其他好文 时间：
2014-06-22 21:24:20
阅读次数：
180
MapReduce Application与文件数、分块大小、用户指定的Mapper数有关，但具体的对应关系是什么？本文将进行分析...
分类：
其他好文 时间：
2014-06-22 17:54:40
阅读次数：
138
