AppMaster向RM请求资源MRAppMaster :serviceinit // service to allocate containers from RM (if non-uber) or to fake it (uber) containerAllocator = creat...
分类：
其他好文 时间：
2014-09-11 15:12:42
阅读次数：
867
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读...
分类：
其他好文 时间：
2014-09-10 22:35:31
阅读次数：
401
运行在YARN平台上面的RPC。当前存在非常多的开源RPC框架，比较著名的有Thrift、Protocol Buffers 和 AVRO。他们均有两部分构成：对象序列化和远程过程调用。重要类：YarnRPCHadoopYarnRPCRpcFactoryProvider。RpcClientFact.....
分类：
其他好文 时间：
2014-09-10 17:16:50
阅读次数：
217
对于生命周期较长的对象，YARN采用了基于服务对象管理模型对其进行管理。 该模型有一下特点： 每个被服务化的对象都分为4个状态 任何服务状态变化都可以触发另外一些动作 可以通过组合方式对任意服务进行组合，以便统一管理。YARN中服务模型的类图（位于包：org.apahce.hado...
分类：
其他好文 时间：
2014-09-10 17:08:30
阅读次数：
197
文章思路： 首先提出第一代MRv1的局限性，然后解释YARN是怎么克服这些局限性的，接着说了YARN的编程模型，说了YARN的组成，YARN的通信协议和YARN的运行过程。通过这样的描述来认识YARN的。 MRv1的局限性 YARN是在...
分类：
其他好文 时间：
2014-09-09 13:57:10
阅读次数：
260
Client 端：
//最终通过ApplicationClientProtocol协议提交到RM端的ClientRMService内
package org.apache.hadoop.mapred;
jobclient包内
YarnRunner
public JobStatus submitJob(JobID jobId, String jobSubmitDir, Credentials...
分类：
其他好文 时间：
2014-09-09 12:48:58
阅读次数：
245
NM端
//NM发送心跳，增加一个NODE_UPDATE事件，简单返回一个respone,异步驱动型，事件再驱动assignContainers,从资源请求结构里取出需求分配资源
//AsyncDispatcher原理
//一个event队列，一个eventtype.class 到处理器对应关系（仅仅是一个class对应一个处理器，class是个Enum可能会有很多种值，具体逻辑在处理器内部)...
分类：
其他好文 时间：
2014-09-09 12:31:58
阅读次数：
307
AppMaster向RM请求资源
//APPMASTER向RM发送心跳，更新资源请求结构，从分配好的内存结构取出分配的资源,具体任务分配是后台异步的由NM发送心跳驱动
MRAppMaster
:serviceinit
// service to allocate containers from RM (if non-uber) or to fake it (uber)
conta...
分类：
其他好文 时间：
2014-09-09 12:31:48
阅读次数：
244
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】Q1：Spark on Yarn的运行方式是什么？Spark on Yarn的运行方式有两种：Client和Cluster模 Client模式如下所示： ...
分类：
其他好文 时间：
2014-09-05 14:15:31
阅读次数：
177
spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark?on?yarn是不需要启动spark集群的，只需要在提交任...
分类：
其他好文 时间：
2014-09-04 19:36:00
阅读次数：
562
