码迷,mamicode.com
首页 > 其他好文 > 详细

Mapreduce 学习

时间:2014-11-24 11:23:39      阅读:236      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   io   ar   color   os   使用   sp   

以WordCount为例

在类WordCount中实现两个内部静态类(Map,Reduce)

 

1、Map

public static class Map extends MapReduceBase implements            

Mapper<Object, Text, Text, IntWritable> {        

    private final static IntWritable one = new IntWritable(1);

        private Text word = new Text();

        public void map(Object key, Text value,  OutputCollector<Text, IntWritable> output, Reporter reporter)    throws IOException {            

   String line = value.toString();

        StringTokenizer tr= new StringTokenizer(line);  

        while (tr.hasMoreTokens()) {

                word.set(tr.nextToken());   

                output.collect(word, one);            

     }        

  }    

}

Map类主要实现了map方法,map方法中的参数类型与接口Mapper中的参数类型一一对应,这里我们没有使用reporter

算法中StringTokenizer是JAVA中用来分割字符串的一个类,默认的分类标记是制表符、空格、回车以及分类,

如果需要除这些之外的分类方式比如",",则可以哄一下方式将","这种划分规则加进来

StringTokenizer tr= new StringTokenizer(line,",");  

分析算法步骤

在这里对数据进行了切割,将切割的数据以key-value的形式输出

2、Reduce

public static class Reduce extends MapReduceBase implements
            Reducer<Text, IntWritable, Text, IntWritable> {
        public void reduce(Text key, Iterator<IntWritable> values,
                OutputCollector<Text, IntWritable> output, Reporter reporter)
                throws IOException {
            int sum = 0;
            while (values.hasNext()) {
                sum += values.next().get();
            }
            output.collect(key, new IntWritable(sum));
        }
    }

Reduce类主要实现reduce方法,这里接口Reducer参数中的数据类型与方法reduce中的参数类型相对应

分析算法步骤

这个过程对拥有相同key的数据进行了统计,这里使用的是统计总个数的时候使用sum+=values.next().get(),个人认为也可以直接使用sum +=1。

 

举一反三

1、统计下面数据中a,b的平均值

  a 2

      a 3

  b 20

      a 3

  b 100

     分析:这里使用StringTokenizer切割之后数据呈现 a 2 a 3 b 20 a 3 b 100的形式,可以考虑将数据以key-value(比如(a,2))形式传出来,map方法的设计就出来了

  平均值需要知道所有a的和以及a的个数,因此在迭代value的时候求和并计数就可以了

  Map类:

     private Text word = new Text();

     private IntWritable val= new IntWritable();

        public void map(Object key, Text value,  OutputCollector<Text, IntWritable> output, Reporter reporter)    throws IOException {            

   String line = value.toString();

        StringTokenizer tr= new StringTokenizer(line);  

        while (tr.hasMoreTokens()) {

                word.set(tr.nextToken());   

             val.set(integer.parseint(tr.nextToken());

                 output.collect(word, val);            

     }        

  }    

  Reduce类

  public static class Reduce extends MapReduceBase implements
            Reducer<Text, IntWritable, Text, FloatWritable> {
        public void reduce(Text key, Iterator<IntWritable> values,
                OutputCollector<Text, FloatWritable> output, Reporter reporter)
                throws IOException {
            float sum = 0;

          int count= 0;
            while (values.hasNext()) {
                sum += values.next().get();

       count ++;
            }
            output.collect(key, new FloatWritable(sum/count));
        }
    }

2、对下列数据中的第二列数据进行处理

  a,2 ,3

      a,3,6

  b,5,20

      a ,3,23

  b,53,25

分析:数据的形式还是很有规律的,每三个一组,无非在在对切割后的数据做迭代的过程中有选择的传送数据,跟WordCount的思想还是一样

目前第一个举一反三的例子还没进行测试,有时间还得放到集群上测试测试bubuko.com,布布扣

 

Mapreduce 学习

标签:style   blog   http   io   ar   color   os   使用   sp   

原文地址:http://www.cnblogs.com/wyhong/p/4118130.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!