码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce On YARN

时间:2014-08-03 15:12:25      阅读:305      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   使用   strong   io   数据   2014   

MapReduce计算框架

将计算过程分为两个阶段:Map和Reduce

  Map阶段并行处理输入数据;

  Reduce阶段对Map结果进行汇总

Shuffle连接Map和Reduce两个阶段

  Map Task将数据写到本地磁盘;

  Reduce Task从每个Map Task上读取一份数据;

仅适合离线批处理

  具有较好的容错性和扩展性;

  适合批处理任务;

缺点:

  启动Map/Reduce任务开销大、过多使用磁盘导致IO频繁等;

 

MapReduce On YARN(MRv2)

YARN负责资源管理和调度;ApplicationMaster负责任务管理;

MRAppMaster任务调度:

1)YARN将资源分配给MRAppMaster;

2)MRAppMaster进一步将资源分配给内部的任务;

 

MRAppMaster容错:

1)MRAppMaster失败后,由YARN重新启动;

2)任务失败后,MRAppMaster重新申请资源;

 

MapReduce On YARN工作原理

bubuko.com,布布扣

1)用户向YARN中提交应用程序/作业,其中包括ApplicaitonMaster程序、启动ApplicationMaster的命令、用户程序等;
2)ResourceManager为作业分配第一个Container,并与对应的NodeManager通信,要求它在这个Containter中启动该作业的ApplicationMaster;

3)ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查询作业的运行状态;然后它将为各个任务申请资源并监控任务的运行状态,直到运行结束。即重复步骤4-7;

4)ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源;

5)一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务;

6)NodeManager启动任务;

7)各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicaitonMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务;
在作业运行过程中,用户可随时通过RPC向ApplicationMaster查询作业当前运行状态;

8)作业完成后,ApplicationMaster向ResourceManager注销并关闭自己;

 

MapReduce On YARN,布布扣,bubuko.com

MapReduce On YARN

标签:style   blog   http   使用   strong   io   数据   2014   

原文地址:http://www.cnblogs.com/luogankun/p/3888380.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!