SPARK的安装

标签：style   http   java   文件   ar   art   new   ad   

spark版本：spark-1.0.2-bin-hadoop2.tgz

下载链接：http://www.apache.org/dist/spark/spark-1.0.2/

Scala版本：scala-2.10.4.tgz

下载链接：http://www.scala-lang.org/files/archive/

1、 解压文件,并配置环境变量

将下载的spark-1.0.2-bin-hadoop2.tgz、scala-2.10.4.tgz解压到/home/hadoop路径下。

sudo mv spark/usr/local/  sudo mv scala/usr/local/

  # vi ~/.bashrc   打开.bashrc文件，添加下面配置信息

eexport SCALA_HOME=/usr/local/scala

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin

2、 cp conf/spark-env.sh.template conf/spark-env.sh

   在spark-env.sh中添加以下内容：

    export SPARK_MASTER_IP=master   //主节点

export SPARK_MASTER_PORT=7077    export SPARK_WORKER_CORES=1    export SPARK_WORKER_INSTANCES=1    export SPARK_WORKER_MEMORY=1g

export JAVA_HOME=/usr/local/jdk7

3、分发到其他节点：

   scp -r /usr/local/spark hadoop@hadoop4:.

   scp -r /usr/local/scala hadoop@hadoop4:.

   然后登录hadoop4:sudo mv spark /usr/local/  sudo mv scala /usr/local/

4、切换到spark目录，启动spark:sbin/start-all.sh

5、通过浏览器访问http://hadoop1:8080可以监控spark Standalone集群

SPARK的安装,布布扣,bubuko.com

SPARK的安装

标签：style   http   java   文件   ar   art   new   ad   

原文地址：http://www.cnblogs.com/liutoutou/p/3910116.html