标签：zookeeper kafka jstorm mysql memcached
一．平台环境介绍:
1．系统信息：
| 项目 | 信息 |
系统版本: | Ubuntu14.04.2 LTS \n \l |
| 用户： | ***** |
| 密码： | ****** |
| Java环境： | openjdk-7-jre |
| 语言： | en_US.UTF-8，en_US:en |
磁盘： | 每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录 hcloud15最为DB，第二块磁盘为2000G |
| 主机范围： | 192.168.21.7~192.168.21.15,192.168.21.17,192.168.21.18（11台） |
| 主机名： | 以IP地址为准，依次为hcloud07~hcloud18 |
2．服务组件分布：
| 服务名称 | 分布主机 |
| Zookeeper | hcloud12,hcloud13,hcloud14 |
| Kafka | hcloud07,hcloud08 |
| Jstorm | hcloud09,hcloud10,hcloud11 |
| Memcached | hcloud13,hcloud14 |
| Mysql | hcloud15 |
| Web-UI | hcloud17 |
二．平台环境配置:
三．Zookeeper配置:
1.安装主程序及需要的组件：
apt-get install -y libzookeeper-java libzookeeper-mt2 zookeeper zookeeperd
2.修改配置文件：
2.1．zookeeper主配置文件
vim /etc/zookeeper/conf/zoo.cfg ##修改数据目录 dataDir=/storage/lib/zookeeper ##所有zookeeper主机 server.1=hcloud12:2888:3888 server.2=hcloud13:2888:3888 server.3=hcloud14:2888:3888 ##
2.2 做启动前准备
mkdir -p/storage/lib/zookeeper cd /storage/lib/zookeeper ln -s/etc/zookeeper/conf/myid myid vim myid ##填入zookeeper主机的编号，第一台是若是1,依次往后类推 1 ##
3.测试启动及定义自动启动：
3.1测试启动
invoke-rc.d zookeeper start #正常情况下会启动成功，若失败请根据失败信息查找原因，或查看日志 tail -f/var/log/zookeeper/zookeeper.lo
3.2随机自动启动
update-rc.dzookeeper defaults
四．Jstorm配置:
下载解压主程序包
cd /srv wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz
2.修改配置文件
vim conf/storm.yaml ##注意缩进，加入zookeeper主机的IP地址，和jstorm监听的端口 storm.zookeeper.servers: - "192.168.21.12" - "192.168.21.13" - "192.168.21.14" supervisor.slots.ports: - 6800 - 6801 - 6802 - 6803 - 6804 - 6805 - 6806 - 6807 ##Nimbus和Supervisor节点配置文件相同
3.测试启动及定义自动启动：
3.1测试启动
3.1.1在nimbus节点上执行：
nohup jstorm nimbus & 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
3.1.2在supervisor节点上执行
nohup jstorm supervisor & 查看$JSTORM_HOME/logs/supervisor.log检查有无错误
3.2随机自动启动
3.2.1Nimbus节点
vim /srv/jstorm/StartNimbus.sh ##加入环境变量，和启动命令 exportJSTORM_HOME=/srv/jstorm export PATH=$PATH:$JSTORM_HOME/bin nohup $JSTORM_HOME/bin/jstorm nimbus >$JSTORM_HOME/StartNimbus.log & ## chmod +x /srv/jstorm/StartNimbus.sh vim/etc/rc.local ##添加以下一行，开机就会自动执行StartNimbus.sh脚本启动jstorm /srv/jstorm/StartNimbus.sh ##
3.2.2Supervisor节点
vim /srv/jstorm/StartSupervisor.sh ##加入环境变量，和启动命令 export JSTORM_HOME=/srv/jstorm exportPATH=$PATH:$JSTORM_HOME/bin nohup$JSTORM_HOME/bin/jstorm supervisor > $JSTORM_HOME/StartSupervisor.log & chmod +x /srv/jstorm/StartSupervisor.sh vim/etc/rc.local ##添加一下一行 /srv/jstorm/StartSupervisor.sh ##
五．Kafka配置:
1.下载解压主程序包
cd /srv wget http://www.eu.apache.org/dist//kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz tar zxf kafka_2.9.2-0.8.2.1.tgz
2.修改配置文件
cdkafka_2.9.2-0.8.2.1/ vim config/server.properties ## broker.id=1 #第二个节点依次类推 log.retention.hours=48 zookeeper.connect=192.168.21.12:2181,192.168.21.13:2181,192.168.21.14:2181 ##填入zookeeper的主机的IP
3.测试启动及自动启动
vim/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh ##原理同Jstorm一样 exportKAFKA_HOME=/srv/kafka_2.9.2-0.8.2.1 nohup$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties \>$KAFKA_HOME/StartKafka.log & ## chmod +x /etc/init.d/StartKafka.sh vim /etc/rc.loca ##添加一行 /srv/kafka_2.9.2-0.8.2.1/StartKafka.sh ##
六．Memcached配置:
1.安装主程序
vim /etc/memcached.conf ##将以下行注释 # -l 127.0.0.1 ##
2.启动以及自动启动
启动：invoke-rc.d memcached start 随机自动启动：update-rc.d memcacheddefaults
七．Mysql配置：
1.安装主程序
apt-get instlal mysql-server-5.5 ##安装过程需要输入mysql密码
2.修改配置文件
2.1.修改数据库的data路径(mysql的默认data路径在/var/lib/mysql目录下)
invoke-rc.d mysql stop mkdir -p /storage/lib/mysql chown -Rmysql:mysql /storage/lib cp -pR /var/lib/mysql /storage/lib/ vim /etc/apparmor.d/usr.sbin.mysqld ##做如下修改，注意末尾逗号 # /var/lib/mysql/ r, # /var/lib/mysql/** rwk, /storage/lib/mysql/r, /storage/lib/mysql/** rwk, ##
2.2.修改主配文件
vim /etc/my sql/my.cnf ##做如下修改： #datadir = /var/lib/mysql datadir =/storage/lib/mysql ##
3.启动和自启动
3.1.启动
/etc/init.d/apparmor restart invoke-rc.d mysql start
3.2自启动
update-rc.d mysql defaults
八．Jstorm，Zookeeper的Web-UI配置：
1.Jstorm-Web-UI
安装tomcat部署Web-UI程序
apt-get install tomcat7 –y cd/usr/share/tomcat7/ mkdir -p .jstorm ##复制jstorm主机的配置文件到/usr/share/tomcat7/.jstorm/目录下 cp-f $JSTORM_HOME/conf/storm.yaml ~/.jstorm/ cd /srv wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz cd/var/lib/tomcat7/webapps cp /srv/jstorm/jstorm-ui-0.9.6.2.war ./ mv ROOT ROOT.old ln -sjstorm-ui-2.0.4-SNAPSHOT ROOT
2.Zookeeper-Web-UI
2.1. 下载
3.jstorm 与Apache 整合
3.1Apache加载ajp模块
Apache2.2 以上可以使用ajp方式，简单方便；
执行以下命令查看Apache已经加载的模块：
apachectl -t -D DUMP_MODULES
执行以下命令加载proxy_ajp 模块：
a2enmod proxy_ajp
可以使用查看命令查看已开启的模块：
apachectl -t -D DUMP_MODULES
3.2配置Apache 虚拟目录：
vim /etc/apache2/sites-enabled/js.conf ## <VirtualHost*:80> ServerName localhost DocumentRoot"/var/lib/tomcat7/webapps/" ProxyRequests Off ProxyPreserveHost On <Proxy*> Order Deny,Allow Deny from all Allow from all </Proxy> ProxyPass /jstorm ajp://localhost:8009/ ProxyPassReverse /jstorm ajp://localhost:8009/ </VirtualHost> ##
3.3配置tomcat
vim /etc/tomcat7/server.xml #将下行注释取消 <Connectorport="8009" protocol="AJP/1.3" redirectPort="8443"/>
3.4参考链接
https://confluence.atlassian.com/jira/configuring-apache-reverse-proxy-using-the-ajp-protocol-183468775.html
http://chirag.bodar.in/configure-apache-httpd-24-with-tomcat-7x-on-ubuntu-1204-1304-and-1404
本文出自 “lijp” 博客，请务必保留此出处http://jiapeng.blog.51cto.com/6706171/1711170
zookeeper，kafka，jstorm，memcached，mysql流式数据处理平台部署
标签：zookeeper kafka jstorm mysql memcached
原文地址：http://jiapeng.blog.51cto.com/6706171/1711170
