码迷,mamicode.com
首页 > 其他好文 > 详细

YARN的简单了解--大数据纪录片第四记

时间:2018-10-27 11:48:00      阅读:175      评论:0      收藏:0      [点我收藏+]

标签:通信   简单   shell命令   hdfs   实现   好运   就是   任务   png   

  在hadoop中有三大核心组件,hdfs,yarn,mapreduce,在之前已经整理过hdfs基础的一些东西,今天来了解一下yarn中的主要角色以及它的作用,然后熟悉当客户端提交一个job到yarn上,yarn是如何去执行这个job。yarn(Yet Another Resource Negotiator)另一种资源调度协调者,是一种新的hadoop资源管理器,yarn是hadoop 2.X版本中的一个新特性。

  技术分享图片

 

  (一)主要角色以及其作用

    1、client:client觉得就是通过接口访问yarn,提交job或者启停任务。

    2、ResourceManager:全局资源管理器 ①负责整个集群的资源分配 ②调度、启动每一个job所属的ApplicationMaster ③监控ApplicationMaster的情况

        RsourceManager主要有两个构件组成:①调度器(scheduler) ②应用程序管理器(Applications Manager, ASM)

          调度器(scheduler):调度器根据容量、队列等限制条件将系统中的资源分配给正在运行的应用程序。调度器不参与任何具体应用程序的相关工作,如:不负责监控或者跟踪应用程序的执行状态、不负责重启应用执行失败或者硬件故障产生的失败任务。调度器仅根据各个应用程序的资源需求进行资源分配。

          应用程序管理器(Applications Manager):负责整个系统中所有应用程序,包括应用程序的提交、与调度器资源协商以启动Application Master、监控Application Master运行状态并在失败时重启它。

    3、Application Master:①与RM调度器协商以获取资源(用container表示) ②将得到的任务进一步分配给内部的任务 ③与NM通信以启停任务 ④监控所有任务状态,并在任务运行失败时重新为任务申请资源以重启任务

        yarn中自带两种Application Master的实现:一个是用于演示AM编写方法的实例程序distributedshell,他可以申请一定数量的container以并行运行shell命令或者shell脚本;另一种是运行MapReduce应用程序的AM-MRAppMaster

    4、NodeManager:每个节点上资源和任务管理器 ①定时向RM汇报本节点上资源使用情况和container的运行状况 ②接收并处理来自AM的container的启停请求

    5、Container:类似于一个资源的容器,RM为AM申请来的资源以container的形式表示 ①封装了某个节点上的多维资源,如:CPU,内存,磁盘,网络等

        在yarn中有两种container:一种是AM运行时需要的Container;另一种是AP为执行任务向RM申请的

  (二)yarn提交并执行一个MR任务的流程

    1、用户向yarn提交一个应用程序,其中包括MRAppMaster程序,启动MRAppMaster的命令,用户程序等

    2、RM为改程序分配一个container,并与对应的NM通信,要求在这个container中启动应用程序MRAppMaster

    3、MRAppMaster首先向RM注册,这样用户可以通过RM查看应用程序的运行状态,然后将为各个任务申请资源,并监控他的运行状态直到结束

    4、MRAppMaster采用轮询的方式通过RPC协议向RM申请和领取资源

    5、一旦MRAppMaster领取到资源,就与相对应的NM通信,启动任务

    6、NM为任务配置好运行环境之后,将任务启动命令写到一个脚本中,并通过该脚本启动任务

    7、各个任务通过某个RPC协议向MRAppMaster汇报自己的状态和进度,以让MRAppMaster随时掌握各个任务的运行状态,从而可以在任务失败的时候重新启动任务

    8、应用程序执行完成后,MRAppMaster向RM注销并关闭自己

 

YARN的简单了解--大数据纪录片第四记

标签:通信   简单   shell命令   hdfs   实现   好运   就是   任务   png   

原文地址:https://www.cnblogs.com/qugemingzihaonan13/p/9860428.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!