码迷,mamicode.com
首页 > 其他好文 > 详细

乱谈马拉松和mapreduce的关系

时间:2020-06-08 00:39:55      阅读:61      评论:0      收藏:0      [点我收藏+]

标签:传输   transform   马拉松   合并   看到了   form   完全   一个   shu   

做为一个业务马拉松爱好者和一个不太专业的IT从业者(十多年开发不会,业务略懂,没形成自己的价值体系,啥啥没心得,得过且过十几年),在马拉松的时候想到了这个对照关系。

那就随便写写,看到了博君一笑。

hadoop的map阶段,是通过transform操作,将数据进行转换,这个阶段数据都是在各个机器上,不进行shuffle操作;

跑步的map阶段,有经验的人都知道,根据起跑位置的差异,会有跑的快的人在后面;等你慢慢追上别人的时候,就是map前面人的配速,当我能跟上你的配速,那就证明map上了;

hadoop的reduce阶段,是将数据化简合并归集的过程,会涉及大量的磁盘和网络数据传输操作;

跑步的reduce阶段,跟上面的解释就差了很远。就是减速。核心思想,你必须减速了。跑步,是自己跟自己的身体、意志力搏斗的过程,会有很多小伙伴在你身边跑过,但你必须清楚自己的身体状态,该减速的时候必须减速,否则对身体的伤害是不可逆的。

写了这么多,就是去年唐山马拉松的时候瞎想的。

使用的mapreduce,是分布式数据平台计算数据的核心;

跑着的mapreduce,是自己跟自己较劲的过程,在前阶段,可以加速,map别人的配速;在后阶段,要懂得减速,根据自己身体情况reduce配速,让自己的身体能坚持跑完全程。

顺便写下,去年唐马算是跑完了,后半程到38公里脚脖疼,走了一小会儿,找志愿者喷了下云南白药慢跑过重点。进4小时。

乱谈马拉松和mapreduce的关系

标签:传输   transform   马拉松   合并   看到了   form   完全   一个   shu   

原文地址:https://www.cnblogs.com/yunzaixiao/p/13062988.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!