码迷,mamicode.com
首页 > 其他好文 > 详细

第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)

时间:2019-06-15 17:34:44      阅读:91      评论:0      收藏:0      [点我收藏+]

标签:img   apt   alt   启动   mamicode   一个   bsp   技术   png   

ReduceTask的运行的整个过程 背下来
1、启动线程到mapTask那里去拷贝数据,拉取属于每一个reducetask自己内部的数据
2、数据的合并,拉取过来的数据进行合并,合并的过程,有可能在内存当中,有可能在磁盘当中,有可能在内存和磁盘当中,合并的时候同时要进行分组操作
3、调用reduce逻辑
4、数据输出

 

技术图片

 

第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)

标签:img   apt   alt   启动   mamicode   一个   bsp   技术   png   

原文地址:https://www.cnblogs.com/mediocreWorld/p/11028068.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!