本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题。当一个Worker挂了会怎样？When a worker dies, the superviso...
分类：
其他好文 时间：
2015-03-30 13:00:26
阅读次数：
172
【原】storm源码之storm代码结构【译】说明：本文翻译自Storm在GitHub上的官方Wiki中提供的Storm代码结构描述一节Structure of the codebase，希望对正在基于Storm进行源码级学习和研究的朋友有所帮助。Storm的源码共分为三个不同的层次。首先，Stor...
分类：
其他好文 时间：
2015-03-28 23:11:22
阅读次数：
218
【原】storm源码之理解Storm中Worker、Executor、Task关系Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系： ...
分类：
其他好文 时间：
2015-03-28 23:08:08
阅读次数：
171
【原】storm源码之一个class解决nimbus单点问题一、storm nimbus 单节点问题概述1、storm集群在生产环境部署之后，通常会是如下的结构： 从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕...
分类：
其他好文 时间：
2015-03-28 22:59:02
阅读次数：
181
来自：http://blog.csdn.net/jmppok/article/details/17244599在创建Storm的Topology时，我们通常使用如下代码：builder.setBolt("cpp",newCppBolt(),3).setNumTasks(5).noneGrouping...
分类：
其他好文 时间：
2015-03-20 16:15:33
阅读次数：
111
安装前说明： 必须先安装zookeeper集群 该Storm集群由三台机器构成，主机名分别为chenx01,chenx02,chenx03,对应的IP分别为192.168.1.110,192.168.1.111,192.168.1.112,其中chenx01为MAST 1、修改主机名 vim /et...
分类：
其他好文 时间：
2015-03-19 23:24:56
阅读次数：
114
机房断电，所有服务器的重启了，在重新启动storm，nimbus和ui都成功启动了，supervisor总是启动失败，报什么EOF的错误，百度了很久，说在conf/storm.yaml文件中，删除配置的storm.local.dir目录下的所有文件，我认为nimbus和ui都启动成功，就只删除了supervisor的文件夹，结果..
分类：
其他好文 时间：
2015-03-19 16:31:48
阅读次数：
2886
微软向Linux用户提供Hadoop on Azure服务 目前HDInsight支持的唯一Linux版本是Ubuntu（在虚拟机中），是由Canonical提供支持的。微软现在已经开始提供Storm for Azure HDInsight。Storm是一种开源的流分析平台，已经从2014年10...
分类：
其他好文 时间：
2015-03-17 10:12:00
阅读次数：
196
KafkaSpout的核心逻辑都是由PartitionManager来实现的。但是这个类实现时候需要考虑的东西有些多，0.92至0.93，至当前(2015.3.14)的master一直在变化。在这里，先分析一下最近的发布版0.93里的逻辑。也提出一些问题，希望以后Apache Storm会把这个类实...
分类：
Web程序 时间：
2015-03-14 21:41:36
阅读次数：
4178
使用flume收集数据，将数据传递给kafka和hdfs，kafka上的数据可以使用storm构建实时计算，而hdfs上的数据，经过MR处理之后可以导入hive中进行处理。 环境：hadoop1.2.1，hive 0.13.1，maven 3.2.5，flume 1.4，kafka 0.7.2，ec...
分类：
Web程序 时间：
2015-03-14 18:17:55
阅读次数：
4961
