码迷,mamicode.com
首页 > 其他好文 > 详细

五:Mapreduce运行机制

时间:2015-12-09 07:17:37      阅读:183      评论:0      收藏:0      [点我收藏+]

标签:it

mapreduce运行机制

技术分享技术分享

技术分享

mapreduce作业执行涉及4个独立的实体:

1. 客户端(client):编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作;

2. JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作业的执行;

3. TaskTracker:保持与JobTracker的通信,在分配的数据片段上执行Map或Reduce任务,TaskTracker和JobTracker的   不同有个很重要的方面,就是在执行任务时候TaskTracker可以有n多个,JobTracker则只会有一个

4. Hdfs:保存作业的数据、配置信息等等,最后的结果也是保存在hdfs上面


五:Mapreduce运行机制

标签:it

原文地址:http://zhangyanfeng.blog.51cto.com/3884312/1720972

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!