码迷,mamicode.com
首页 > 其他好文 > 详细

spark集群安装配置

时间:2018-01-27 18:59:06      阅读:170      评论:0      收藏:0      [点我收藏+]

标签:work   spark   配置文件   class   hadoop   home   module   font   hadoop1   

1.上传

2.解压

3.

进入到Spark安装目录

cd 

进入conf目录并重命名并修改spark-env.sh.template文件

cd conf/

mv spark-env.sh.template spark-env.sh

技术分享图片

 

vi spark-env.sh

技术分享图片

 

在该配置文件中添加如下配置

export JAVA_HOME=/opt/modules/jdk1.8.0_91
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077

保存退出

重命名并修改slaves.template文件

mv slaves.template slaves

vi slaves

在该文件中添加子节点所在的位置(Worker节点)

hadoop2

hadoop3

技术分享图片

 

保存退出

将配置好的Spark拷贝到其他节点上

scp -r /opt/modules/spark-1.6.1-bin-hadoop2.6/ root@hadoo2:/opt/modules/

scp -r /opt/modules/spark-1.6.1-bin-hadoop2.6/ root@hadoo3:/opt/modules/ 

Spark集群配置完毕,目前是1Master,2Work,在hadoop1上启动Spark集群

./sbin/start-all.sh

技术分享图片

技术分享图片

技术分享图片

在网站输入hadoop1:8080

技术分享图片

 

spark集群安装配置

标签:work   spark   配置文件   class   hadoop   home   module   font   hadoop1   

原文地址:https://www.cnblogs.com/wzlbigdata/p/8366517.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!