码迷，mamicode.com
首页 > 移动开发 > 详细

MapReduce源码分析：Mapper和Reducer类

时间：2015-08-07 14:50:29      阅读：187      评论：0      收藏：0      [点我收藏+]

标签：源码   hadoop   mapreduce   

一：Mapper类

在Hadoop的mapper类中，有4个主要的函数，分别是：setup，clearup，map，run。代码如下：

  1. protected void setup(Context context) throws IOException, InterruptedException {
  2. // NOTHING
  3. }

  5. protected void map(KEYIN key, VALUEIN value,
  6.                      Context context) throws IOException, InterruptedException {
  7. context.write((KEYOUT) key, (VALUEOUT) value);
  8. }

  10. protected void cleanup(Context context) throws IOException, InterruptedException {
  11. // NOTHING
  12. }

  14. public void run(Context context) throws IOException, InterruptedException {
  15.     setup(context);
  16.     while (context.nextKeyValue()) {
  17.       map(context.getCurrentKey(), context.getCurrentValue(), context);
  18.     }
  19.     cleanup(context);
  20.   }
  21. }
由上面的代码，我们可以了解到，当调用到map时，通常会先执行一个setup函数，最后会执行一个cleanup函数。而默认情况下，这两个函数的内容都是nothing。因此，当map方法不符合应用要求时，可以试着通过增加setup和cleanup的内容来满足应用的需求。

二：Reducer类

在Hadoop的reducer类中，有3个主要的函数，分别是：setup，clearup，reduce。代码如下：
  1.   /**
  2.    * Called once at the start of the task.
  3.    */
  4.   protected void setup(Context context
  5.                        ) throws IOException, InterruptedException {
  6.     // NOTHING
  7.   }


  2.   /**
  3.    * This method is called once for each key. Most applications will define
  4.    * their reduce class by overriding this method. The default implementation
  5.    * is an identity function.
  6.    */
  7.   @SuppressWarnings("unchecked")
  8.   protected void reduce(KEYIN key, Iterable<VALUEIN> values, Context context
  9.                         ) throws IOException, InterruptedException {
  10.     for(VALUEIN value: values) {
  11.       context.write((KEYOUT) key, (VALUEOUT) value);
  12.     }
  13.   }
  1.   /**
  2.    * Called once at the end of the task.
  3.    */
  4.   protected void cleanup(Context context
  5.                          ) throws IOException, InterruptedException {
  6.     // NOTHING
  7.   }


在用户的应用程序中调用到reducer时，会直接调用reducer里面的run函数，其代码如下：
  1. /*
  2.    * control how the reduce task works.
  3.    */
  4.   @SuppressWarnings("unchecked")
  5.   public void run(Context context) throws IOException, InterruptedException {
  6.     setup(context);
  7.     while (context.nextKey()) {
  8.       reduce(context.getCurrentKey(), context.getValues(), context);
  9.       // If a back up store is used, reset it
  10.       ((ReduceContext.ValueIterator)
  11.           (context.getValues().iterator())).resetBackupStore();
  12.     }
  13.     cleanup(context);
  14.   }
  15. }


由上面的代码，我们可以了解到，当调用到reduce时，通常会先执行一个setup函数，最后会执行一个cleanup函数。而默认情况下，这两个函数的内容都是nothing。因此，当reduce不符合应用要求时，可以试着通过增加setup和cleanup的内容来满足应用的需求。

版权声明：本文为博主原创文章，未经博主允许不得转载。

MapReduce源码分析：Mapper和Reducer类

标签：源码   hadoop   mapreduce   

原文地址：http://blog.csdn.net/gamer_gyt/article/details/47338053
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！