码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce框架结构

时间:2019-09-14 21:03:34      阅读:97      评论:0      收藏:0      [点我收藏+]

标签:map函数   ima   lis   apt   一个   mapreduce   copy   文件内容   实例   

一个完整的mapreduce程序在分布式运行时有三类实例进程

  • MRAppMaster:负责整个程序的过程调度及状态协调!
  • MapTask:负责map阶段的整个数据处理流程!
  • ReductTask:负责reduce阶段的整个数据处理流程!
 
图示:
技术图片
 
技术图片
 

执行步骤:

            map任务处理:

        1. 读取输入文件内容,解析为key value 键值对,对输入文件的每一行,解析为key value对。每一个键值对调用一次map函数。
        2. 写自己的逻辑,对输入的Key Value 处理,转换为新的 kv对输出!
        3. 对输出的key value 进行分区 !
        4. 对不同的分区数据,按照key进行排序 ,分组。相同的key的value放到一个集合中
        5. 分组后进行数据归约。

            reduce任务处理:

        1. 对多个map任务的输出,按照不同分区,通过网络copy到不同的reduce节点
        2. 对多个map任务的输出进行合并,排序。写reduce自己的逻辑,输入的key value 进行处理,转换成新的key value输出!
        3. 把reduce的输出保存到文件中!

 



MapReduce框架结构

标签:map函数   ima   lis   apt   一个   mapreduce   copy   文件内容   实例   

原文地址:https://www.cnblogs.com/TiePiHeTao/p/f4a0160387b3fec6e41dd82a699de08b.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!