码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的Combiner

时间:2014-08-05 11:25:48      阅读:224      评论:0      收藏:0      [点我收藏+]

标签:style   使用   文件   数据   问题   工作   size   c   

在许多MapReduce应用的场景中,如果能在向reducer分发mapper结果之前做一下“本地化Reduce”.一wordcount为例子,如果作业处理中的文件单词中"the"出现了574次,存储并shuffling一次(“the”,574)key/valuthe对比许多次("the",1)更有效。这个过程叫做合并(Combiner).

hadoop 通过扩展MapReduce框架,在mapper何reducer之间增加了一个combine解决了了这些瓶颈问题。你可以把combiner是为reducer的助手,它致力于减少mapper的输出以降低reducer上的压力。如果我们定义了一个combiner,MapReduce使用它的次数可以使0次,1次或者更多次。为了让combiner能正常的工作,它和reducer的数据转换必须等价。如果我们去掉了combine,reducer的输入应该是不变化的。当combiner被应用于中间数据中的任意子集时,仍然需要保持等价的转换特性。在一些场景下,combine的角色时十分明显的。假设reducer仅仅处理分配性函数,如max,min和count时,我们可以直接使用使用reducer作为combiner,但是有时候许多有用的函数不是分配性的。我们就可以重写其中的一些函数,例如求average,从而调用combiner


Hadoop的Combiner,布布扣,bubuko.com

Hadoop的Combiner

标签:style   使用   文件   数据   问题   工作   size   c   

原文地址:http://blog.csdn.net/christprince007/article/details/38379563

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!