码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce之自定义Combiner

时间:2020-04-19 13:09:31      阅读:92      评论:0      收藏:0      [点我收藏+]

标签:range   不能   index   toc   LLC   xtend   rabl   textarea   mapreduce   

概述

Combinar继承了`Reducer`, 可选过程, 在map端的实现分组(是在map端运行的reduce), 减小网络IO传输; 
使用Combiner需要满足的条件
  • Combiner不能影响最终计算结果
    例如求平均值就不能使用Combiner
    技术图片
  • 输出k-v类型必须与map输出一致

自定义过程

1. 继承Reducer, 重写Reduce方法
x
 
1
Public class MyReducer extends Reucer<Text, IntWritable, Text, IntWritable>{
2
    
3
    @Override
4
    protected void reduce(Text key, Iterable<IntWritable> values,Context context)
5
}
2. 在Job驱动类设置
1
 
1
job.setCombinerClass(WordcountCombiner.class);

MapReduce之自定义Combiner

标签:range   不能   index   toc   LLC   xtend   rabl   textarea   mapreduce   

原文地址:https://www.cnblogs.com/bitbitbyte/p/12730951.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!