码迷,mamicode.com
首页 > 移动开发 > 详细

Mapper类/Reducer类中的setup方法和cleanup方法以及run方法的介绍

时间:2015-05-07 12:18:51      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:

  在hadoop的源码中,基类Mapper类和Reducer类中都是只包含四个方法:setup方法,cleanup方法,run方法,map方法。如下所示:

技术分享

其方法的调用方式是在run方法中,如下所示:

技术分享

  可以看出,在run方法中调用了上面的三个方法:setup方法,map方法,cleanup方法。其中setup方法和cleanup方法默认是不做任何操作,且它们只被执行一次。但是setup方法一般会在map函数之前执行一些准备工作,如作业的一些配置信息等;cleanup方法则是在map方法运行完之后最后执行 的,该方法是完成一些结尾清理的工作,如:资源释放等。如果需要做一些配置和清理的工作,需要在Mapper/Reducer的子类中进行重写来实现相应的功能。map方法会在对应的子类中重新实现,就是我们自定义的map方法。该方法在一个while循环里面,表明该方法是执行很多次的。run方法就是每个maptask调用的方法。

 

Mapper类/Reducer类中的setup方法和cleanup方法以及run方法的介绍

标签:

原文地址:http://www.cnblogs.com/ljy2013/p/4484240.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!