标签:
今天在写一个MR的时候,用到了combiner。在使用过程中,遇到了一些问题,特此记录一下。
Combiner分为两种,一种是可插拔的,一种是不可插拔的。
可插拔的:Combiner和Reduce的处理逻辑是一样的,可以直接使用Reduce类进行处理。如果去掉Combiner,不影响结果。
不可插拔:Combiner和Reduce的处理逻辑不一样,如果去掉Combiner,会影响结果。
在使用不可插拔的Combiner过程中需要注意的是,其输出的key和value要和Map输出的key和value一致,要不然会报错。
标签:
原文地址:http://www.cnblogs.com/6tian/p/4284532.html