背景
主体逻辑
具体实现
AM
YarnAllocator
Executor背景Spark on Yarn分yarn-cluster和yarn-client两种模式。
本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。
前提我对两种模式以及yarn任务的整体运行逻辑不是很清楚。
主体逻辑cluster模式中，使用的TaskSche...
分类：
其他好文 时间：
2015-02-15 18:06:53
阅读次数：
215
协议ApplicationClientProtocol Hadoop-Yarn?源码阅读-Yarn? client与ResourceManager之间的协议，用来 提交、中止作业 获取应用信息、集群metrics信息、节点信息、队列信息和ACL信息 各接口说明：
...
分类：
移动开发 时间：
2014-11-21 10:56:02
阅读次数：
490
1 概述
Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
在部署和运行Spark Application的过程中，如果不注意一些小的细节，也许会导致一些问题的出现。
2 防火墙
部署好Spark...
分类：
其他好文 时间：
2014-08-04 14:23:27
阅读次数：
297
spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
