码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)

时间:2015-05-25 20:44:11      阅读:139      评论:0      收藏:0      [点我收藏+]

标签:hadoop   超人学院   

前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了Hadoop MapReduce部分的应用API,用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的,目前MapReduce框架还是使用老系统(参考补丁HADOOP-1230)。下面我们来分析org.apache.hadoop.mapred,首先还是从mapred的MapReduce框架开始分析,下面的类图(灰色部分为标记为@Deprecated的类/接口):


技术分享 

我们把包mapreduce的类图附在下面,对比一下,我们就会发现,org.apache.hadoop.mapred中的MapReduce API相对来说很简单,主要是少了和Context相关的类,那么,好多在mapreduce中通过context来完成的工作,就需要通过参数来传递,如Map中的输出,老版本是:
      output.collect(key,result);  // output’s type is:OutputCollector
新版本是:

      context.write(key, result);  // output’s type is: Context

它们分别使用OutputCollectorMapper.Context来输出map的结果,显然,原有OutputCollector的新API中就不再需要。总体来说,老版本的API比较简单,MapReduce过程中关键的对象都有,但可扩展性不是很强。同时,老版中提供的辅助类也很多,我们前面分析的FileOutputFormat,也有对应的实现,我们就不再讨论了。

更多精彩内容请关注:http://bbs.superwu.cn 

关注超人学院微信二维码:技术分享


Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)

标签:hadoop   超人学院   

原文地址:http://crxy2013.blog.51cto.com/9922445/1654952

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!