标签：
1. Storm集群组件
Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：
- 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态和监测故障。Nimbus的作用类似于Hadoop中JobTracker的角色。
- 每个工作节点（Work Node）上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集；一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。
Storm集群组件
Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外，Nimbus和Supervisor进程都是快速失败（fail-fast)和无状态（stateless）的；Storm集群所有的状态要么在Zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Nimbus和Supervisor进程，它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。
Storm 的容错分为如下几种类型。
（1）工作进程worker 失效：如果一个节点的工作进程worker“死掉”，supervisor 进程会尝试重启该worker。如果连续重启worker 失败或者worker 不能定期向Nimbus 报告“心跳”，Nimbus 会分配该任务到集群其他的节点上执行。
（2）集群节点失效：如果集群中某个节点失效，分配给该节点的所有任务会因超时而失败，Nimbus 会将分配给该节点的所有任务重新分配给集群中的其他节点。
（3）Nimbus 或者supervisor 守护进程失败：Nimbus 和supervisor 都被设计成快速失败（遇到未知错误时迅速自我失败）和无状态的（所有的状态信息都保存在Zookeeper 上或者是磁盘上）。Nimbus 和supervisor 守护进程必须在一些监控工具（例如，daemontools 或者monitor）的辅助下运行，一旦Nimbus 或者supervisor 失败，可以立刻重启它们，整个集群就好像什么事情也没发生。最重要的是，没有工作进程worker 会因为Nimbus 或supervisor 的失败而受到影响，Storm 的这个特性和Hadoop 形成了鲜明的对比，如果JobTracker 失效，所有的任务都会失败。
（4）Nimbus 所在的节点失效：如果Nimbus 守护进程驻留的节点失败，工作节点上的工作进程worker 会继续执行计算任务，而且，如果worker 进程失败，supervisor 进程会在该节点上重启失败的worker 任务。但是，没有Nimbus的影响时，所有worker 任务不会分配到其他的工作节点机器上，即使该worker所在的机器失效。
2. 安装Storm集群
下面是接下来需要依次完成的安装步骤：
- 搭建Zookeeper集群；
- 安装Storm依赖库；
- 下载并解压Storm发布版本；
- 修改storm.yaml配置文件；
- 启动Storm各个后台进程。
2.1 搭建Zookeeper集群本博客中已有 （在此不再介绍）
注意事项：
- 由于Zookeeper是快速失败（fail-fast)的，且遇到任何错误情况，进程均会退出，因此，最好能通过监控程序将Zookeeper管理起来，保证Zookeeper退出后能被自动重启。
- Zookeeper运行过程中会在dataDir目录下生成很多日志和快照文件，而Zookeeper运行进程并不负责定期清理合并这些文件，导致占用大量磁盘空间，因此，需要通过cron等方式定期清除没用的日志和快照文件。
2.2 安装Storm依赖库
接下来，需要在Nimbus和Supervisor机器上安装Storm的依赖库，具体如下：
2.2.1 安装ZeroMQ 2.1.7：
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
make install
注意事项： 1. 如果安装过程报错uuid找不到，则通过如下的包安装uuid库：
yum install e2fsprogs-devel
2.2.2 安装JZMQ:
为了保证JZMQ正常工作，可能需要完成以下配置：
- 正确设置 JAVA_HOME环境变量
- 安装Java开发包
- 升级 autoconf
wget https://github.com/zeromq/jzmq/archive/master.zip
unzip master.zip
cd jzmq-master
./autogen.sh
./configure
make
make install
检查zeroMQ和jzmq的安装:
查看zeromq和jzmq的库是否已经安装到位，一般在/usr/local/lib目录:
ls -l /usr/local/lib
2.2.3 安装Java 6
2.2.4 安装Python2.6.6
2.2.5 安装unzip、automake
2.3 下载并解压Storm发布版本
1. 下载Storm发行版本，推荐使用Storm0.8.2：
storm集群相关资料
标签：
原文地址：http://www.cnblogs.com/wjoyxt/p/4333194.html
