Spark on Yarn部署

标签：spark on yarn   yarn上安装spark   hadoop上安装spark   spark 安装   hadoop yarn搭建   

环境：Linux, 8G 内存，60G 硬盘，Hadoop 2.2.0，Spark 1.0.0, Scala 2.10.3

1. 安装Hadoop Yarn 集群

http://blog.csdn.net/zlcd1988/article/details/36008681

这篇Blog很详细的介绍了如何部署Hadoop Yarn 集群。

2. 安装Scala

http://www.scala-sbt.org/download.html

下载 scala-2.10.3.tgz

$ tar -zxvf scala-2.10.3.tgz
$ mv scala-2.10.3 /usr/scala

3. 安装Spark

$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz
$ tar -zvxf spark-1.0.0-bin-hadoop2.tgz
$ mv spark-1.0.0-bin-hadoop2 /usr/spark

4. 配置环境变量

在~/.bash_profile 添加环境变量

export SPARK_HOME=/usr/spark
export SCALA_HOME=/usr/scala
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.0.0-hadoop2.2.0.jar
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

运行 source .bash_profile 使环境变量立即生效。

5. 编辑 $SPARK_HOME/conf/spark-env.sh 末尾添加：

export SPARK_HOME=/usr/spark
export SPARK_JAR=/usr/spark/lib/spark-assembly-1.0.0-hadoop2.2.0.jar

6. 测试Spark是否能够在Yarn上运行

$ spark-class org.apache.spark.deploy.yarn.Client --jar /usr/spark/lib/spark-examples-1.0.0-hadoop2.2.0.jar --class org.apache.spark.examples.JavaSparkPi --args yarn-standalone --num-workers 1 --master-memory 1G --worker-memory 1G --worker-cores 1

Spark on Yarn部署,布布扣,bubuko.com

Spark on Yarn部署

标签：spark on yarn   yarn上安装spark   hadoop上安装spark   spark 安装   hadoop yarn搭建   

原文地址：http://blog.csdn.net/zlcd1988/article/details/36440065