IP首部内有三个字段实现分片和重装：标识字段（ip_id）、标志字段（ip_off的3个高位比特）和偏移字段（ip_off的13个低位比特）。标志字段由3个1bit标志组成。比特0是保留的必须为0,；比特1是“不分片”（DF）标志；比特2是“很多其它分片”（MF）标志。Net/3中，标志和偏移字段结...
分类：
其他好文 时间：
2014-10-06 19:01:10
阅读次数：
270
InputFormat接口里包括两个方法：getSplits()和createRecordReader()，这两个方法分别用来定义输入分片和读取分片的方法。 1 public abstract class InputFormat { 2 3 /** 4 * Logically sp...
分类：
其他好文 时间：
2014-09-28 11:45:51
阅读次数：
188
搭建mongodb分片http://gong1208.iteye.com/blog/1622078Sharding分片概念这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在sharding的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB的数据...
分类：
数据库 时间：
2014-09-25 21:39:07
阅读次数：
294
尽管IP分片看起来是是透明的，但有一点让人不想使用它：即使只丢失一片数据也要重传整个数据报。为什么会发生这种情况呢？ 因为IP层本身没有超时重传的机制——由更高层来负责超时和重传（TCP有超时和重传机制，但UDP没有。一些UDP应用程序本身也执行超时和重传）。当来自TCP报文段的某一片丢失后，TC....
分类：
其他好文 时间：
2014-09-24 21:32:27
阅读次数：
244
节选自《大数据日知录：架构与算法》十四章，书籍目录在此 对于海量待挖掘数据，在分布式计算环境下，首先面临的问题就是如何将数据比较均匀地分配到不同的服务器上。对于非图数据来说，这个问题解决起来往往比较直观，因为记录之间独立无关联，所以对数据切分算法没有特别约束，只要机器负载尽可能均衡即可。由于图数据记录之间的强耦合性，如果数据分片不合理，不仅会造成机器之间负载不均衡，还会大量增加机器之...
分类：
数据库 时间：
2014-09-20 08:51:47
阅读次数：
401
1、UDP首部
2、UDP分片
在第二章，讲链路层是，提到过以太网，刨除数据帧帧头，最多传输的长度为1500，也就是说，如果一个ip数据报，长度大于1500，则需要分片。
分片方法：
在ip头中3位标志，13位片偏移，这俩东西就是用来分片的。3位标志中：一个更多的片标识，除了最后一个分片，其它分片都要有这个标识，还有一个不分片标识，如果置上，则即便I...
分类：
其他好文 时间：
2014-09-18 16:32:31
阅读次数：
293
最近研究分布式数据库架构，发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。 一、 多分片（水平切分）返回结果合并（排序） ??????????1、Select + None Aggregate Function的有序...
分类：
数据库 时间：
2014-09-18 11:42:34
阅读次数：
293
Apache SolrCloud安装 SolrCloud通过ZooKeeper集群来进行协调，使一个索引进行分片，各个分片可以分布在不同的物理节点上，多个物理分片组成一个完成的索引Collection。SolrCloud自动支持Solr Replication，可以同...
分类：
其他好文 时间：
2014-09-17 17:02:32
阅读次数：
248
在网页中直接上传大文件一直是个比较头疼的问题，主要面临的问题一般包括两类：一是上传时间长中途一旦出错会导致前功尽弃；二是服务端配置复杂，要考虑接收超大表单和超时问题，如果是托管主机没准还改不了配置，默认只能接收小于4MB的附件。比较理想的方案是能够把大文件分片..
分类：
Web程序 时间：
2014-09-15 11:25:09
阅读次数：
196
本文原创自 http://blog.csdn.net/voipmaker 转载注明出处。
Redis集群的目的是实现数据的横向伸缩，把一块数据分片保存到多个机器，可以横向扩展数据库大小，扩展带宽，计算能力等。
实现数据分片(集群)方式大致有三种：
（1） 客户端实现数据分片
即客户端自己计算数据的key应该在哪个机器上存储和查找，此方法的好处是降低了服务器...
分类：
其他好文 时间：
2014-09-12 23:32:54
阅读次数：
503
