码迷,mamicode.com
首页 > 其他好文 > 详细

漫画:什么是MapReduce?

时间:2020-11-20 11:20:39      阅读:5      评论:0      收藏:0      [点我收藏+]

标签:中文意思   apr   大数据   模型   key   开发经验   rac   疑问   专注   

漫画:什么是MapReduce?

点击上方“程序员小灰”,选择“置顶公众号”
有趣有内涵的文章第一时间送达!
技术图片

技术图片

————— 第二天 —————

技术图片
技术图片
技术图片

技术图片
技术图片

技术图片

————————————
技术图片
技术图片

技术图片
技术图片

什么是MapReduce?

MapReduce是一种编程模型,其理论来自Google公司发表的三篇论文(MapReduce,BigTable,GFS)之一,主要应用于海量数据的并行计算。

MapReduce可以分成Map和Reduce两部分理解。
1.Map:映射过程,把一组数据按照某种Map函数映射成新的数据。
2.Reduce:归约过程,把若干组映射结果进行汇总并输出。
技术图片

让我们来看一个实际应用的栗子,如何高效地统计出全国所有姓氏的人数?

我们可以利用MapReduce的思想,针对每个省的人口做并行映射,统计出若干个局部结果,再把这些局部结果进行整理和汇总:
技术图片

这张图是什么意思呢?我们来分别解释一下步骤:

1.Map:
以各个省为单位,多个线程并行读取不同省的人口数据,每一条记录生成一个Key-Value键值对。图中仅仅是简化了的数据。

2.Shuffle
Shuffle这个概念在前文并未提及,它的中文意思是“洗牌”。Shuffle的过程是对数据映射的排序、分组、拷贝。

3.Reduce
执行之前分组的结果,并进行汇总和输出。

需要注意的是,这里描述的Shuffle只是抽象的概念,在实际执行过程中Shuffle被分成了两部分,一部分在Map任务中完成,一部分在Reduce任务中完成。

技术图片
技术图片

Hadoop如何实现MapReduce?

技术图片

Hadoop是Apache基金会开发的一套分布式系统框架,包含多个组件,其核心就是HDFS和MapReduce。

由于篇幅原因,文本不会对Hadoop做完整的介绍,只是简单介绍一下Haddoop框架当中如何实现MapReduce。

下面这张图是Hadoop框架执行一个MapReduce Job的全过程:

技术图片

这里需要对几种实体进行解释:

HDFS:
Hadoop的分布式文件系统,为MapReduce提供数据源和Job信息存储。

Client Node:
执行MapReduce程序的进程,用来提交MapReduce Job。

JobTracker Node:
把完整的Job拆分成若干Task,负责调度协调所有Task,相当于Master的角色。

TaskTracker Node:
负责执行由JobTracker指派的Task,相当于Worker的角色。这其中的Task分为MapTask和ReduceTask。
技术图片
技术图片
技术图片
技术图片

大数据技术培训哪家强?

由于大数据技术的炙手可热,相关的技术培训学校像雨后春笋一样大量涌现,但是许多培训学校其实并不靠谱。

比如这样的学校就不靠谱,上个学还要担心生命危险:
技术图片

这样的学校也不靠谱,要天天被电疗:
技术图片

经过多年经验,真正能入小灰法眼的技术培训学校只有五家。今天小灰为大家介绍其中一家:ItStar睿思达学院。

技术图片

ItStar睿思达学院与阿里云合作,专注中高端IT教育课程,主要开设 大数据、机器学习、AI、云计算、java、前端、运维等相关课程,老师全部来自于BAT等中国乃至全球最顶尖的一线工程师。

最近,ItStar睿思达学院为我们准备了一系列免费的大数据公开课直播,此次讲座特别联合阿里云合作伙伴,11 年大数据项目开发经验、500 强企业资深大数据架构师 Arry 老师。
技术图片

扫一扫又不会怀孕,有对大数据方向有兴趣或者疑问的小伙伴们,都可以扫二维码进行咨询。

技术图片

最后,祝愿有志向成为大数据工程师的小伙伴们,以及小灰的所有读者们,在新的一年顺利达成梦想!

—————END—————

技术图片

喜欢本文的朋友们,欢迎长按下图关注订阅号程序员小灰,收看更多精彩内容

技术图片

漫画:什么是MapReduce?

标签:中文意思   apr   大数据   模型   key   开发经验   rac   疑问   专注   

原文地址:https://blog.51cto.com/14982143/2550783

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!