码迷,mamicode.com
首页 > 其他好文 > 详细

wordcount 过程

时间:2016-09-27 17:48:14      阅读:113      评论:0      收藏:0      [点我收藏+]

标签:

hdfs原始数据

         hello a 

         hello b

map阶段:

        输入数据:<0,"hello a">

                      <8,"hello b"> 

        key为偏移量

        输出数据:

       

     map(key,value,context)

                 {

                    String[]  words = value.split("\t");

                     for(String word :words)

                           {

                            //hello
                            //a
                            //hello
                            //b
                            输出conetxt.write(key,vlaue)

                           }

                 }

  <hello,1>

      <a,1>

      <hello,1>

      <b,1>

reduce阶段:(分组排序,字典序排序)

      输入数据:

              <a,1>

              <b,1>

               <hello,{1,1}>

      输出数据:

             

reduce(key,value,context)

                 {
                    int sum=0;
                    String word=key;
                    for(int i:value)
                        {
                           sum+=i;
                         }
                     context.write(key,sum);
                 }

  

wordcount 过程

标签:

原文地址:http://www.cnblogs.com/yuanfuqiang/p/5913613.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!