码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop学习之yarn资源管理

时间:2019-01-01 21:44:24      阅读:240      评论:0      收藏:0      [点我收藏+]

标签:用户组   apr   管理   contain   设置   manager   机制   队列   ast   

一、yarn简介

  yarn是在hadoop2.x中才引入的一个新的机制,在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配,那么引入yarn之后,hadoop的资源管理的任务就全部交给yarn来处理,从而实现存储、任务、资源的分离。

二、yarn的主要角色

  1.ResourceManager

  ResourceManager是基于应用程序对集群资源的需求进行调度的Yarn集群主控节点,负责协调和管理整个集群(所有 NodeManager)的资源,响应用户提交的不同类型应用的 解析,调度,监控等工作。

  2.NodeManager

  NodeManager 是 Yarn 集群当中真正资源的提供者,是真正执行应用程序的容器的提供者,监控应用程序的资源使用情况(CPU,内存,硬盘,网络),并通过心跳向集群资源调度器 ResourceManager 进行汇报以更新自己的健康状态,管理日志和不同应用程序用到的附属服务。

  3.ApplicationMaster

  负责应用程序相关的事务,比如任务调度、任务监控和容错等。

  4.Container

  hadoop集群的资源统称,包括cpu,内存,磁盘,网络等。

三、工作机制

  1.首先,用户通过客户端连接到RM,向RM发送申请启动应用

  2.RM会先去NM上面寻找,看哪个NM还有资源空余,这里的资源就是指container

  3.假设其中一个NM汇报说我这里有资源,然后RM就会命令NM分配对应的container

  4.RM在NM分配的container上面启动应用 ,并监控应用

  5.若这个应用也有子应用要启动(比如spark的driver启动excuter),则会通知RM,然后RM继续向NM请求资源

  6.NM继续分配container,RM在其上面启动应用,并监控

  下面以一张spark on yarn的流程举例,spark先向RM申请资源启动driver,然后driver继续申请资源启动excuter

技术分享图片

四、yarn的资源调度

  1.FIFO

  一个hadoop集群默认的yarn资源调度策略就是FIFO,FIFO模式会根据任务的请求的先后依次执行,若在前一个任务执行的过程中还有资源空余,便会同时执行下一个任务,直到资源全部被占用,那么剩下的后面的任务就需要进行等待

  2.capaticy

  通常用于一个集群(集群被多个组织共享)中运行多个Application的情况,目标是最大化吞吐量和集群利用率。CapacityScheduler允许将整个集群的资源分成多个部分,每个组织使用其中的一部分,即每个组织有一个专门的队列,每个组织的队列还可以进一步划分成层次结构(Hierarchical Queues),从而允许组织内部的不同用户组的使用。

  每个队列内部,按照FIFO的方式调度Applications。当某个队列的资源空闲时,可以将它的剩余资源共享给其他队列。

  3.fair

  FairScheduler允许应用在一个集群中公平地共享资源。默认情况下FairScheduler的公平调度只基于内存,也可以配置成基于memory and CPU。当集群中只有一个app时,它独占集群资源。当有新的app提交时,空闲的资源被新的app使用,这样最终每个app就会得到大约相同的资源。可以为不同的app设置优先级,决定每个app占用的资源百分比。FairScheduler可以让短的作业在合理的时间内完成,而不必一直等待长作业的完成。简单来说就是,谁抢到资源就归谁使用。

hadoop学习之yarn资源管理

标签:用户组   apr   管理   contain   设置   manager   机制   队列   ast   

原文地址:https://www.cnblogs.com/jacksontao/p/10029640.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!