【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）(9)

标签：style   http   io   color   ar   os   使用   sp   文件   

第二步：构造分布式的Spark1.0.2集群

1,下载Scala 2.10.4，具体下载地址：

http://www.scala-lang.org/download/2.10.4.html 

在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；

2，安装和配置Scala

我们需要在SparkMaster、SparkWorker1以及SparkWorker2上分别安装Scala，Scala的安装和配置具体参考 ：Spark实战高手之路-第一章 第三步

http://down.51cto.com/data/1748148 

在每台机器上安装完成后可以进行一下验证：

3,下载Spark 1.0.2，具体下载地址：

http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz

4,在SparkMaster上安装和配置Spark 1.0.2集群

把下载后“spark-1.0.2-bin-hadoop2.tgz”解压到“/usr/local/spark”目录之下：

配置“~/.bashrc”，设置“SPARK_HOME”并把Spark的bin目录加入到PATH之中，配置完成后使用source命令使配置生效。

进入spark的conf目录：

第一步修改slaves文件，首先打开该文件：

我们把slaves文件的内容修改为：

第二步：配置spark-env.sh

首先把spark-env.sh.template 拷贝到spark-env.sh：

打开“spark-env.sh”文件：

修改后的配置文件的内容如下所示：

5,SparkWorker1和SparkWorker2采用和SparkMaster完全一样的Spark安装配置，在此不再赘述。

6,启动Spark分布式集群并查看信息。

第一步：启动Hadoop集群，在SparkMaster使用jps命令，具体操作过程中可以看到如下进程信息：

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）(9)

标签：style   http   io   color   ar   os   使用   sp   文件   

原文地址：http://www.cnblogs.com/spark-china/p/4104389.html