1. mapper任务一般执行 输入格式解析、投影（选择相关的字段）、过滤（过滤掉无关记录）。reducer任务一般2. 对于map任务和ruduce任务，tasktracker有固定数量的任务槽。3. 分片（split）的大小一般就是文件块大小。map任务的数量取决于文件大小和块大小，不用刻意去设...
分类：
其他好文 时间：
2014-07-22 22:54:16
阅读次数：
314
ICMP:http://blog.csdn.net/tigerjibo/article/details/7356936ARP:http://blog.csdn.net/tigerjibo/article/details/7351992IP分片：http://www.vants.org/?post=1...
分类：
其他好文 时间：
2014-07-18 08:03:11
阅读次数：
198
刚在 http://bbs.byr.cn/#!article/Python/1693 刚...
分类：
编程语言 时间：
2014-07-17 17:00:18
阅读次数：
281
public class FileSplit extends InputSplit implements Writable { private Path file; private long start; private long length; private String[] hosts; pu...
分类：
其他好文 时间：
2014-07-16 18:32:45
阅读次数：
236
Java报表-动态折叠树
Java报表-段落明细表
Java报表-多层统计
Java报表-多源分片与冻结
Java报表-发票套打表
Java报表-非统一页面打印
Java报表-复杂票据
Java报表-高级条件分组表
Java报表-各分公司员工劳动关系
Java报表-基本明细汇总表
Java报表-卡片分栏条码表
Java报表-日报表
Java报表-数据进度表
Java报表-...
分类：
编程语言 时间：
2014-07-14 16:14:34
阅读次数：
419
数据链路层：mtu的限制在这层 14字节：6字节目标mac，6字节源mac，2字节type，网络层：（ip dns arp）分片重组在这层，每一个包长不可超过mtu 仅仅举例ip协议：20字节160bits：4位版本号 4位头长，8位服务类型16位总长度 16位标示3位...
分类：
其他好文 时间：
2014-07-13 19:57:58
阅读次数：
272
添加分片 useadmin //添加分片节点,每个分片都是一个副本集【allowLocal:true仅仅开发时才将分片配置到本地,生产时不能这样】 db.runCommand({addshard:"localhost:9335",allowLocal:true}) db.runCommand({ad...
分类：
数据库 时间：
2014-07-13 00:28:16
阅读次数：
570
随着移动互联网的发展，大量的非结构化数据随之产生，不仅对数据库存储大数据提出了新的要求，同时对于查询数据和进行大数据分析也提出了苛刻的要求，这些显然是单服务器处理能力无法满足的，自然建立一个集群是不可避免的。集群的复杂性大家众所周知，而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类：
数据库 时间：
2014-07-12 13:00:54
阅读次数：
267
分布式的基础:一致性哈希 路由算法的一致性hash http://www.jiacheo.org/blog/174 http://www.tuicool.com/articles/vQVbmai http://www.cnblogs.com/huangxincheng/p/3708316.html ...
分类：
数据库 时间：
2014-07-07 11:31:00
阅读次数：
349
分区健选择
数据应该如何拆分，按照什么纬度来拆分
节点路由
应用程序写死/客户端(TDDL,cobar-client)/中间层(cobar-server)
固定分配/动态分配/混合
分片数据均衡
某些分片访问比较频繁，跟业务类型相关
全局唯一键生成器
专门的应用接口
跨节点排序/分组/表关联
应用程序实现
多数据源事务处理/分布式事务
应用程序实...
分类：
数据库 时间：
2014-07-03 13:35:02
阅读次数：
212
