Spark on Yarn

标签：size   bsp   home   contain   memory   找不到   运行   cat   进程   

YARN是什么

YARN在hadoop生态系统中的位置

YARN产生的背景

YARN的基本架构

ResourceManager

NodeManager

 ApplicationMaster

container 

                              Spark On Yarn 配置和部署

编译时包含yarn

基本配置

在没有配置的前提下试下启动spark-shell

可以看到启动没问题

 这里问题就来了！！！

下面我们配上来看看

可以看到报错了！！！

 应该是资源不足导致的

先重启一下各个进程

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster 
--num-executors 1 --driver-memory 1g --executor-memory 1g --executor-cores 1 $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar

注意观察了

 可以看到

以下为视频内容（本人自己的环境出错，费了好多精力找不到原因）

提交spark job给yarn

 在跑的过程中我们可以在网页上看到

                                                                       Spark On Yarn 运行架构解析

                                                                yarn client

 如何更改默认配置

在这里修改

环境变量

http://spark.apache.org/docs/1.6.1/running-on-yarn.html

Spark on Yarn

标签：size   bsp   home   contain   memory   找不到   运行   cat   进程   

原文地址：http://www.cnblogs.com/braveym/p/7376286.html