码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce 1.x 编程 系列三 Reduce阶段实现

时间:2014-09-26 02:02:58      阅读:146      评论:0      收藏:0      [点我收藏+]

标签:ubuntu   hadoop   mapreduce   

Reduce代码就是做加和统计,

package org.freebird.reducer;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapreduce.Reducer;


public class LogReducer<Key> extends Reducer<Key, IntWritable, Key,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Key key, Iterable<IntWritable> values,
                       Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}


迭代遍历values,取出所有的value,都是1, 简单加和。

然后结果写入到context中。 注意,这里的context是Reducer包的Context。



MapReduce 1.x 编程 系列三 Reduce阶段实现

标签:ubuntu   hadoop   mapreduce   

原文地址:http://blog.csdn.net/csfreebird/article/details/39561885

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!