标签：
构造分布式的Spark1.0.2集群
下载Scala 2.10.4，具体下载地址：
http://www.scala-lang.org/download/2.10.4.html
在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；
安装和配置Scala
我们需要在master、slave1以及slave2上分别安装Scala
安装Scala
将Scala安装包拷贝到各台机器上
解压
新建目录/usr/lib/scala
将上述解压之后的文件夹scala-2.10.4拷贝到/usr/lib/scala下
修改配置：vim ~/.bashrc
修改配置/etc/environment，修改PATH，CLASSPATH和JAVA_HOME
在每台机器上安装完成后可以进行一下验证：
下载Spark 1.0.2，具体下载地址：
http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz
在master上安装和配置Spark 1.0.2集群
把下载后“spark-1.0.2-bin-hadoop2.tgz”解压到“/usr/local/spark”目录之下：
新建目录/usr/local/spark
将安装包拷贝到/usr/local/spark下并解压
配置“~/.bashrc”，设置“SPARK_HOME”并把Spark的bin目录加入到PATH之中（修改environment文件），配置完成后使用source命令使配置生效。
修改/etc/environment中的PATH
进入spark的conf目录：
第一步修改slaves文件，首先打开该文件：
我们把slaves文件的内容修改为：
第二步：配置spark-env.sh
首先把spark-env.sh.template拷贝到spark-env.sh：
打开“spark-env.sh”文件
在文件末尾加入以下内容
slave1和slave2采用和master完全一样的Spark安装配置。
启动Spark分布式集群并查看信息。
第一步：启动Hadoop集群，在master使用jps命令， 在slave1和slave2上使用jps
第二步：启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：
使用jps查看集群信息
在web页面访问Spark集群http://master:8080
从页面上可以看到Work节点及其信息
此时，进入Spark的bin目录，使用spark-shell控制台
此时我们进入了Spark的shell环境，根据输出的信息，我们可以通过“http://master:4040” 从Web的角度看一下SparkUI的情况，如下图所示：
当然，你也可以查看一些其它的信息，例如Environment:
同时，我们也可以看一下Executors：
至此，我们 的Spark集群搭建成功。
标签：
原文地址：http://www.cnblogs.com/dmyu/p/4826397.html
