标签:it
mapreduce运行机制
mapreduce作业执行涉及4个独立的实体:
1. 客户端(client):编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作;
2. JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作业的执行;
3. TaskTracker:保持与JobTracker的通信,在分配的数据片段上执行Map或Reduce任务,TaskTracker和JobTracker的 不同有个很重要的方面,就是在执行任务时候TaskTracker可以有n多个,JobTracker则只会有一个
4. Hdfs:保存作业的数据、配置信息等等,最后的结果也是保存在hdfs上面
标签:it
原文地址:http://zhangyanfeng.blog.51cto.com/3884312/1720972