Hadoop之Combiners编程

时间：2017-06-11 23:31:52 阅读：227 评论：0 收藏：0 [点我收藏+]

每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。

combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。

如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

注意：Combiner的输出是Reducer的输入，如果Combiner是可插拔的，添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。

实际上，combiner就在map端的一个reducer。执行过程如下：

原文地址：http://www.cnblogs.com/dulixiaoqiao/p/6986591.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行