1、修改/etc/hosts
172.16.3.7 nimbus
172.16.3.8 supervisor1
172.16.3.9 supervisor2
172.16.3.10 supervisor3
2、集群所有机器安装ZooKeeper,storm需要zk存储数据及进行nimbus、supervisor之间协调
tar xzvf ...
分类:
其他好文 时间:
2014-12-08 17:46:22
阅读次数:
281
出自:http://my.oschina.net/jinp/blog/350293一些常用命令:storm相关:storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类:
Web程序 时间:
2014-12-08 00:45:15
阅读次数:
346
先整体介绍一下搭建storm集群的步骤:
设置zookeeper集群安装依赖到所有nimbus和worker节点下载并解压storm发布版本到所有nimbus和worker节点配置storm.yaml启动相关后台进程
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zo...
分类:
其他好文 时间:
2014-12-05 17:26:26
阅读次数:
206
源地址:http://storm.apache.org/documentation/Fault-tolerance.html
本文主要介绍Storm作为容错系统的设计细节。
当worker死掉时会发生什么?
当worker死掉时, supervisor将重启它。 如果worker启动总是失败,则worker就不能发送心跳消息给Nimbus, 那Nimbus就会...
分类:
其他好文 时间:
2014-11-29 00:18:19
阅读次数:
175
nimbus是storm集群的"控制器",是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本,在这个脚本中定义了一个nimbus函数:nimbus函数def nimbus(k...
分类:
其他好文 时间:
2014-09-15 22:33:00
阅读次数:
594
1、当一个worker死掉会发生什么? 当一个worker死掉,那么supervisor会重新启动这个worker。如果它总是启动失败将不能发送心跳到nimbus,那么nimbus将把这个worker分配到另一台机器上。2、当一个节点死掉将会发生什么? 分配给这台机器的任务将会超时,那么nimb.....
分类:
其他好文 时间:
2014-09-15 15:50:49
阅读次数:
173
http://code4app.com/requirement/4fe153fe6803fa2c69000000http://code4app.com/ios/InterApp-by-Nimbus/4fcc512d6803fae60b000002http://blog.csdn.net/wave_1...
分类:
移动开发 时间:
2014-09-05 12:55:31
阅读次数:
229
在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误 在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误...
分类:
Web程序 时间:
2014-08-26 11:59:36
阅读次数:
427
Nimbus :负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 相应目录。
Supervisor :负责接受nimbus 分配的任务,启动和停止属于自己管理的worker 进程。
Worker :运行具体处理组件逻辑的进程。
Executor :运行spout/bolt 的线程
Task : worker 中每一个spout/bolt 的线程称为一个task.
Topology : storm 中运行的实时应用程序,消息在各个组件间流动形成逻辑上的拓扑结构。
Spout :在一个topo...
分类:
其他好文 时间:
2014-08-20 12:39:12
阅读次数:
171
1) Java 6和Java 7中设置Nimbus风格; 2) Nimbus修改默认设置的Bug和改进方案; 3) Desktop和Applet模式下的设置