最近学习了hadoop这个框架，把自己的理解总结如下：
1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行，tasktracker同时向jobtracker返回任务运行结果。
jobtracker对作业的输入数据进行分片，然后为每个分片创建一个map任务，同时创建一定数量的reduce任务，并指派空闲的tasktracker来执行这些任务。
tasktr...
分类：
其他好文 时间：
2015-04-13 11:00:17
阅读次数：
113
Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己...
分类：
其他好文 时间：
2015-04-12 14:33:28
阅读次数：
3522
在做mongodb分片时，当启用mongos路由服务，我们会指定一个日志的存放位置：mongos--configdb127.0.0.1:27019--logpath/var/log/mongodb/mongos.log--pidfilepath/var/run/mongodb/mongos.pid--logappend--logRotatereopen--fork以上我们指定了日志的存放位置在/var/log/mongod..
分类：
数据库 时间：
2015-04-10 20:25:05
阅读次数：
349
elasticseach的数据分片shard，在创建索引之后，在生命周期内就不可改变了，所以在索引开始创建的时候，要根据预估的数据规模合理的设置shard数目。在集群中让shard分布均匀，可以有效的均衡集群负载，所以我们要尽量保证shard的在集群中分布均匀。...
分类：
其他好文 时间：
2015-04-10 20:16:04
阅读次数：
209
Twemproxy是一种代理分片机制，由Twitter开源。Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。该方案很好的解决了单个Redis实例承载能力的问题。当然，Twemproxy本身也是单点，需要用Keepalived做高可用方...
分类：
其他好文 时间：
2015-04-10 17:07:32
阅读次数：
257
尽管 IP 分片看起来是是透明的，但有一点让人不想使用它：即使只丢失一片数据也要重传整个数据报。为什么会发生这种情况呢？
因为 IP 层本身没有超时重传的机制——由更高层来负责超时和重传（ TCP 有超时和重传机制，但 UDP 没有。一些 UDP 应用程序本身也执行超时和重传）。当来自 TCP 报文段的某一片丢失后，TCP 在超时后重发整个 TCP 报文段，该报文段对应于一份 IP 数据...
分类：
其他好文 时间：
2015-04-08 16:22:48
阅读次数：
131
数据分片也称数据分割，是分布式数据库的特征之一。在一个分布式数据库中，全局数据库是由各个局部数据库逻辑组合而成；反之，各个局部数据库是由全局数据库的某种逻辑分割而得。 ???????...
分类：
数据库 时间：
2015-04-07 00:48:02
阅读次数：
142
#MongoDb 聚合方法 group aggrate mapreduce#1. Group (不支持分片,分布计算) * 语法结构 db.collection.group({ key:{category:1}, // 根据category来分类 c...
分类：
数据库 时间：
2015-04-06 20:12:36
阅读次数：
193
网上关于三种集群方式的搭建方式很多，都是分开来介绍的。Replica Set （复制集成）主要是做主从库的，但是没法实现负载均衡的效果，真正实现这个的，是Sharding（分片集群），通过数据分布在每个分片上而实现。所以，如果只用分片，如果一个只有一个主库，那么挂了就真的挂了。所以在我尝试的集群部署...
分类：
数据库 时间：
2015-04-05 21:48:31
阅读次数：
232
转自： http://blog.chinaunix.net/uid-9112803-id-3213492.html 摘要： 本文简单介绍了网络层理论知识，详细讲解了IP数据报各个字段，并从Wireshark俘获分组中选取IP数据报进行分析，也阐述了分组和分片的区别。 一、IPv4数据报 网络层是处理...
分类：
其他好文 时间：
2015-04-05 17:19:10
阅读次数：
185
