码迷,mamicode.com
首页 > 其他好文 > 详细

mapreduce

时间:2018-05-21 17:01:46      阅读:111      评论:0      收藏:0      [点我收藏+]

标签:发送数据   过程   格式   数据   阶段   mapred   输入   reduce   key   

MapReduce的处理过程分为两个步骤:map和reduce。

每个阶段的输入输出都是key-value的形式,key和value的类型可以自行指定。

map阶段对切分好的数据进行并行处理,处理结果传输给reduce,由reduce函数完成最后的汇总。

如果有多个map任务同时运行(通常都是这样),那么每个map任务完成后,都会向reduce发送上面格式的数据,发送数据的过程叫shuffle

 

mapreduce

标签:发送数据   过程   格式   数据   阶段   mapred   输入   reduce   key   

原文地址:https://www.cnblogs.com/bupt2016/p/9067961.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!