码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop2.0源码包简介

时间:2015-01-08 18:03:28      阅读:159      评论:0      收藏:0      [点我收藏+]

标签:hadoop2.0源码包简介

Hadoop2.0源码包简介

1、解压源码包:

 技术分享

2、目录结构:

技术分享

hadoop-common-projectHadoop基础库所在目录,如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。

 

hadoop-mapreduce-projectMapReduce框架的实现,在第一代MR即MRv1中,MapReduce由编程模型(map/reduce)、调度系统(JobTracker和TaskTracker)和数据处理引擎(MapTask和ReduceTask)等模块组成,而MRv2的资源调度功能由新增的YARN完成。其它两个不变,自身仅包含非常简单的任务分配功能。

 

hadoop-hdfs-projectHadoop分布式文件系统实现,Hadoop1.0中是单个NameNode实现,而Hadoop2.0支持多NameNode,同时解决了NameNode单节点故障。

 

hadoop-yarn-projectHadoop资源管理系统YARN实现。该系统能够统一管理系统中的资源,并按照一定的策略分配给各个应用进程。 

 

 

 

3Hadoop2.0新增分支YARNhadoop-yarn-project目录:

 技术分享

 

技术分享

hadoop-yarn-apiYARN  API,给出了YARN内容涉及的4个主要RPC协议的JAVA声明和Protocol  Buffers定义。这四个RPC分别是ApplicationClientProtocol、ApplicationMasterProtocol、ContainerManagementProtocol和ResourceManagerAdministrationProtocol。

 

hadoop-yarn-commonYARN  Common,包含了YARN底层库实现,包括事件库、服务库、状态库、Web界面库等。

 

hadoop-yarn-applicationsYARN  Applications,包括两个Application编程实例,分别是distributedshell和Unmanaged  AM。

 

hadoop-yarn-clientYARN  Client,封装了几个与YARN  RPC协议交互相关的库,方便用户开发应用程序。

 

hadoop-yarn-serverYARN  Server,给出了YARN的核心实现,包括ResourceManager、NodeManager、资源管理器等核心组件的实现。

 

 

 

Hadoop2.0源码包简介

标签:hadoop2.0源码包简介

原文地址:http://blog.csdn.net/baolibin528/article/details/42526559

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!