MR Combiner

标签：mapr   apr   block   class   没有   节点   data-   基本   key   

在Mapper和Reducer之间有一个非常重要的组件Combiner。每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一

• Combiner最基本是实现本地key的聚合，对map输出的key排序，value进行迭代

• Combiner还有本地reduce功能（其本质上就是一个reduce）

• 与mapper和reducer不同的是，combiner没有默认的实现，需要显式的设置在conf中才有作用

• 并不是所有的job都适用combiner，只有操作满足结合律的才可设置combiner

MR Combiner

标签：mapr   apr   block   class   没有   节点   data-   基本   key   

原文地址：https://www.cnblogs.com/xiangyuguan/p/11364915.html