码迷,mamicode.com
首页 > 其他好文 > 详细

spark集群搭建

时间:2015-09-27 11:19:35      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:spark集群搭建

Spark集群环境搭建

20150927日中秋节,祝中秋快乐团圆

1安装jdk

2安装scala

http://www.scala-lang.org scala官网下载安装包,这里以scala-2.11.7为例:

1)下载scala-2.11.7.tgz

2)在目录下解压缩:

tar -xzvf scala-2.11.7.tgz

 

3)配置环境变量,在/etc/profile中添加以下的内容:

export SCALA_HOME=实际安装路径

 

export PATH=${SCALA_HOME}/bin:PATH

4) 使profile立即生效

Source /etc/profile

 

3配置SSH免密码登陆

 4安装hadoop

 

5安装spark

下载 spark-1.0.0-bin-hadoop2.tgz

解压 tar -xzvf spark-1.0.0-bin-hadoop2.tgz

配置conf/spark-env.sh文件

 

export JAVA_HOME=/home/spark/jdk1.7.0_45

export SCALA_HOME=/usr/etc/scala/scala-2.11.7

export SPARK_WORKER_MEMORY=2g

export MASTER=spark://192.168.217.140:7077

export SPARK_MASTER_IP=192.168.217.140

所有红色配置以实际安装路径为准

6启动集群

./sbin/start-all.sh

 

7测试

sh spark-submit --master spark://192.168.217.140:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi --executor-memory 400M --driver-memory 512M /usr/etc/spark/spark-1.0.0-bin-hadoop2/lib/spark-examples-1.0.0-hadoop2.2.0.jar

Master(红色)用主机名的时候怎么都不行,换成masterip地址就行了

 

 

 


spark集群搭建

标签:spark集群搭建

原文地址:http://3006532.blog.51cto.com/2996532/1698523

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!