码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop中Combiner使用中需要注意的地方

时间:2015-02-10 20:12:16      阅读:179      评论:0      收藏:0      [点我收藏+]

标签:

今天在写一个MR的时候,用到了combiner。在使用过程中,遇到了一些问题,特此记录一下。

Combiner分为两种,一种是可插拔的,一种是不可插拔的。

可插拔的:Combiner和Reduce的处理逻辑是一样的,可以直接使用Reduce类进行处理。如果去掉Combiner,不影响结果。

不可插拔:Combiner和Reduce的处理逻辑不一样,如果去掉Combiner,会影响结果。

在使用不可插拔的Combiner过程中需要注意的是,其输出的key和value要和Map输出的key和value一致,要不然会报错。

hadoop中Combiner使用中需要注意的地方

标签:

原文地址:http://www.cnblogs.com/6tian/p/4284532.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!