码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop-Yarn-框架原理及运作机制

时间:2017-06-04 12:50:46      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:alt   .net   csdn   相互   http   资源管理   nod   mapred   oop   

一、YARN基本架构

    YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。

二、YARN基本组成结构

    YARN 总体上仍然是Master/Slave结构,在整个资源管理框架中,ResourceManager为Master,NodeManager为 Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时,需要提供一个用以 跟踪和管理这个程序的ApplicationMaster,它负责向ResourceManager申请资源,并要求NodeManger启动可以占用一 定资源的任务。由于不同的ApplicationMaster被分布到不同的节点上,因此它们之间不会相互影响。在本小节中,我们将对YARN的基本组成 结构进行绍。 

    YARN 运行的基本架构如下图:

技术分享

      图描述了YARN的基本组成结构,YARN主要由ResourceManager、NodeManager、ApplicationMaster(图中给出了MapReduce和MPI两种计算框架的ApplicationMaster,分别为MR AppMstr和MPI AppMstr)和Container等几个组件构成。  

   技术分享

 

Hadoop-Yarn-框架原理及运作机制

标签:alt   .net   csdn   相互   http   资源管理   nod   mapred   oop   

原文地址:http://www.cnblogs.com/yyy-blog/p/6939861.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!