标签:style blog http 使用 strong io 数据 2014
MapReduce计算框架
将计算过程分为两个阶段:Map和Reduce
Map阶段并行处理输入数据;
Reduce阶段对Map结果进行汇总
Shuffle连接Map和Reduce两个阶段
Map Task将数据写到本地磁盘;
Reduce Task从每个Map Task上读取一份数据;
仅适合离线批处理
具有较好的容错性和扩展性;
适合批处理任务;
缺点:
启动Map/Reduce任务开销大、过多使用磁盘导致IO频繁等;
MapReduce On YARN(MRv2)
YARN负责资源管理和调度;ApplicationMaster负责任务管理;
MRAppMaster任务调度:
1)YARN将资源分配给MRAppMaster;
2)MRAppMaster进一步将资源分配给内部的任务;
MRAppMaster容错:
1)MRAppMaster失败后,由YARN重新启动;
2)任务失败后,MRAppMaster重新申请资源;
MapReduce On YARN工作原理
1)用户向YARN中提交应用程序/作业,其中包括ApplicaitonMaster程序、启动ApplicationMaster的命令、用户程序等;
2)ResourceManager为作业分配第一个Container,并与对应的NodeManager通信,要求它在这个Containter中启动该作业的ApplicationMaster;
3)ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查询作业的运行状态;然后它将为各个任务申请资源并监控任务的运行状态,直到运行结束。即重复步骤4-7;
4)ApplicationMaster采用轮询的方式通过RPC请求向ResourceManager申请和领取资源;
5)一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务;
6)NodeManager启动任务;
7)各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicaitonMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务;
在作业运行过程中,用户可随时通过RPC向ApplicationMaster查询作业当前运行状态;
8)作业完成后,ApplicationMaster向ResourceManager注销并关闭自己;
MapReduce On YARN,布布扣,bubuko.com
标签:style blog http 使用 strong io 数据 2014
原文地址:http://www.cnblogs.com/luogankun/p/3888380.html