码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce提交到Yarn上大体执行流程

时间:2015-12-16 09:39:21      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:it

技术分享

  1. 启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjar

  2. ResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster

  3. 由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTask任务运行结束.MRAppMasster进程会启动Reduce Task任务(yarnChild进程)


MapReduce提交到Yarn上大体执行流程

标签:it

原文地址:http://zhangyanfeng.blog.51cto.com/3884312/1723425

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!