本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么？ 当worker死了，supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳，Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么？ 分派到这台机器上的任务将会超时并.....
分类：
其他好文 时间：
2015-01-06 17:13:18
阅读次数：
117
1、是什么构成一个可运行的topology? worker processes（worker进程），executors（线程）和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程，一个worker进程运行一个特定topology的executors。 一个worker...
分类：
其他好文 时间：
2015-01-06 15:27:01
阅读次数：
153
1.启动nimbus nohup ./storm nimbus & 2.启动supervisor nohup ./storm supervisor & 3.启动ui nohup ./storm ui & 4.启动log nohup ./storm log & 5.上传topo storm/storm-0.9.0.1/bin/storm jar storm_topo.jar...
分类：
其他好文 时间：
2015-01-06 12:14:08
阅读次数：
370
storm运行异常之No output fields defined for component:stream XxxBolt:null的可能原因...
分类：
其他好文 时间：
2015-01-05 18:45:02
阅读次数：
200
Something wrong with your car key may make you so gloomy. Therefore, it had better to prepare a reliable key programmer for emergency, especially hand...
分类：
其他好文 时间：
2014-12-31 18:15:34
阅读次数：
242
如何在分布式集群中，充分利用多节点，对大数据进行拆分，实现并行计算，“parallel computing by kafka-storm ” 提供了一种很好的思路。...
分类：
其他好文 时间：
2014-12-29 23:03:01
阅读次数：
208
1 应用背景： 需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上。
2 设计架构：
1） 客户端产生数据---
2） kafka-生产者实时采集数据（保留7天）-----
3） storm实时消费数据，处理数据
4）把实时数据统计结果缓存到memcached 中...
分类：
其他好文 时间：
2014-12-29 23:01:45
阅读次数：
235
简单介绍了storm现有的调度算法，以及一些其他公司或研究组织对其的改进...
分类：
编程语言 时间：
2014-12-28 00:32:11
阅读次数：
238
Functionals“To become significantly more reliable, code must become more transparent. In particular, nested conditions and loops must be viewed with g...
分类：
其他好文 时间：
2014-12-27 16:05:34
阅读次数：
283
作为storm的使用者，有两件事情要做以更好的利用storm的可靠性特征。 首先，在你生成一个新的tuple的时候要通知storm; 其次，完成处理一个tuple之后要通知storm。 这样storm就可以检测整个tuple树有没有完成处理...
分类：
其他好文 时间：
2014-12-25 16:37:15
阅读次数：
188
