码迷,mamicode.com
首页 > 其他好文 > 详细

Yarn资源调度管理

时间:2018-07-28 15:07:05      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:集群   任务   并且   分配   服务   接收   代理   创建   ast   

1.ResourceManager(资源管理器RM)常驻守护进程:
  管理集群资源,负责全局资源的监控、分配和管理;
  接收来自nodemanager的心跳信息,进行整体资源的汇总;
  监控Applicacation Master的开启和创建;

2.Nodemanager(节点管理器NM)常驻守护进程:
  yarn中的每一台节点服务器都运行一个nodemanager,Nodemanager相当于管理当前机器的一个代理;
  负责本台机器的程序运行,并且对本台机器资源进行管理和监控;
  Nodemanager定时向ResourceManager汇报本节点的资源(cpu、内存)使用情况;
  启动并监控Container(容器);

3.Applicacation Master(应用节点)守护进程:
  用户提交一个应用将会产生相对应的Applicacation Master(AM),AM常驻在  Nodemanager上;
  每个AM都需要与Nodemanager进行资源协商,将获取所需的资源(Container)用于任务(Task)的运行
  监控任务(Task)的运行情况;
  如果Task运行失败,它将负责为其重新申请资源和启动任务;

4.yarn调度方式

  1.先进先出调度

  2.容量调度

  3.公平调度

Yarn资源调度管理

标签:集群   任务   并且   分配   服务   接收   代理   创建   ast   

原文地址:https://www.cnblogs.com/lyr999736/p/9381679.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!