码迷,mamicode.com
首页 > 其他好文 > 详细

高效搭建Storm完全分布式集群

时间:2014-05-13 05:44:31      阅读:345      评论:0      收藏:0      [点我收藏+]

标签:storm   分布式   集群   hadoop   clustering   

环境说明
1、硬件说明
使用三台PC机,角色分配如下
bubuko.com,布布扣

2、软件说明
bubuko.com,布布扣

约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH

Storm集群安装
安装流程图
bubuko.com,布布扣


1、安装Zookeeper集群

2、安装Storm依赖
zeromq、jzmq、python

2.1、安装zeromq
tar -zxvf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
是源码,需先编译
./configure 检查编译环境

安装依赖
rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm
rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm 
rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm

./configure 检查编译环境
make 编译
make install 安装

2.2、安装jzmq
unzip jzmq-master.zip 

安装依赖
rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm
rpm -ivh automake-1.11.1-4.el6.noarch.rpm
rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm

在/usr/local/jzmq-master路径下
./autogen.sh 

./configure
make
make install

2.3、检查python
which python
python -V 

3、安装storm
3.1、unzip storm-0.8.2.zip
3.2.1、配置storm环境变量
# set storm  environment
export STORM_HOME=/usr/local/storm-0.8.2
export PATH=$PATH:$STORM_HOME/bin

3.2.2、修改Storm的配置文件
vi storm.yaml
配置Zookeeper
配置storm
bubuko.com,布布扣


4、启动Storm集群
4.1、各节点启动Zookeeper zkServer.sh start
4.2、master启动Storm storm nimbus > ./nimbus.log 2>&1 &
4.3、子节点启动 bin/storm supervisor > ./supervisor.log 2>&1 &
4.4、master启动图形化管理界面进程(进程名core) storm ui > ./core.log 2>&1 & 

5、启动验证
5.1 Java守护进程
bubuko.com,布布扣

5.2 web端
http://hadoop100:8080/
bubuko.com,布布扣

Storm集群完全分布式安装Successfully,欢迎留言交流


高效搭建Storm完全分布式集群,布布扣,bubuko.com

高效搭建Storm完全分布式集群

标签:storm   分布式   集群   hadoop   clustering   

原文地址:http://blog.csdn.net/aaronhadoop/article/details/25557089

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!