码迷,mamicode.com
首页 > 其他好文 > 详细

spark的standalone模式下HA的配置

时间:2015-09-29 13:21:28      阅读:154      评论:0      收藏:0      [点我收藏+]

标签:

  1. 在每个节点上的conf/spark-env.sh中配置  

# for ha
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"

2.配置zookeeper 

3.启动zookeeper集群

4.启动spark集群  

在master节点上启动 ,会开启master和worker。
sbin/start-all.sh

在slave1 和 slave2 节点上启动
sbin/start-master.sh

这样就启动了三个master了。通过master:8080 , slave1:8080 , slave2:8080均可以访问集群UI。 一个active的 和 两个 standby 。

5.测试  kill掉 master节点的 master进程, 然后访问其他两个节点的UI页面,可以发现其中一个转为active了。

spark的standalone模式下HA的配置

标签:

原文地址:http://my.oschina.net/vonmomo/blog/512236

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!