标签:
文章包含内容:
1. YARN产生背景
2. YARN基本架构及原理
-----------------------------------------------------------
1. YARN产生背景
Hadoop1.x中的MapReduce构成图
在Hadoop1.0中,MapReduce主要是由JobTracker和TaskTracker构成。MapReduce采用了Master/Slave架构,表现形式为一个JobTracker带多个TaskTracker,作为Master的JobTracker,它是整个集群的唯一的全局管理者,它也是一个服务进程,启动之后,它会一直监听并接收来自各个TaskTracker发送的“心跳”信息,资源使用情况和任务运行情况。
JobTracker主要有两大功能:首先是作业布置,在Hadoop中,每个应用程序被表示为一个作业,每个作业又被分成多个任务,JobTracker的作业控制模块负责作业的分解和状态的监控。监控是对TaskTracker的状态进行监控,作业状态、任务状态进行监控,其作用是容错和对任务调度提供依据。第二个JobTracker的主要功能是资源管理,JobTracker在Hadoop1中身兼多职,这也为它后面,包括它的扩展性和单点故障埋下了隐患。
作为Slave的TaskTracker有两个作用:第一个是汇报心跳,TaskTracker会周期性的将所有节点上各种信息通过心跳机制汇报给JobTracker,包括节点的健康状况、资源使用情况、任务执行进度、任务进行状态等。第二个是执行命令,执行JobTracker给TaskTracker下达的各种命令,包括启动任务、提交任务、杀死任务、杀死作业和重新初始化。
Hadoop1.x中MapReduce弊端
扩展性差、可靠性差、资源利用率低、无法支持多种计算框架
扩展性差
JobTracker兼备了资源管理和作业控制两大功能,这成为系统的一个最大瓶颈,它严重制约了Hadoop集群的扩展性。后面为解决这个问题,设置了YARN,YARN只负责资源管理。
可靠性差
因为Hadoop1种MapReduce采用Master/slave结构,因此作为Master的JobTracker一旦发生单点故障,将导致整个集群不可用。
资源利用率低
Hadoop1的MapReduce采用了一种基于槽位(slot)的资源分配模式,槽位是一种粗粒度的资源划分单位,通常一个任务不会用完槽位的固定资源,且其他任务也无法使用这些空闲资源。我们通常将槽位分为map slot和reduce slot两种,且不允许它们之间共享,常常会导致一种槽位资源紧张,而另一种槽位资源空闲,这会大大浪费资源。后面也会讲到YARN的资源分配的单位container。
无法支持多种计算框架
MapReduce是一种基于磁盘的离线计算,现在大数据不仅仅包括这种离线计算,还包括内存计算、流式计算、迭代式计算,而hadoop1和MapReduce无法支持多种计算框架。在一个平台上集成多种计算框架的优点是:1.资源利用率高,如果每个框架一个集群,则往往因为应用程序的数量和资源利用率的不均衡,使得在某段时间内,某些框架内的资源紧张,而另外一些资源空闲。共享集群模式则通过多种框架共享资源,使集群中的资源可以充分地利用。2.运维成本低。3.数据共享 由于数据量的暴增,跨集群间的数据移动不仅花费时间长,且运维成本也会大大增加,共享集群可以让多种框架共享数据和硬件资源,这可以减少数据移动带来的成本。
基于上述缺点,Hadoop2提供了一个资源管理器YARN。
2. YARN基本架构及原理
YARN是一种Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN主要是由ResourceManager,NodeManager和application master和相应的container构成的。
YARN的主要组件
ResourceManager
ApplicaitonMaster
NodeManager
Container
YARN的结构图
Resource Manager主要负责这些Node Manager资源统一的管理和调度,当用户提交一个应用程序,需要提交一个用于跟踪管理这个应用程序的Application Master,在Node Manager上Container上产生的一个Application Master,Application Master主要负责向Resource Manager申请资源,并要求NodeManager启动可以占用一定资源任务,Application Master向Resource Manager不断地以轮询的方式索要资源,要到资源以后,它会要求Node Manager在相应的资源上启动它的任务。
Resource Manager是什么?
Resource Manager是一个全局资源管理器,它负责整个系统的资源管理分配,主要由两个组件构成:一个是调度器,一个是应用程序管理器,Resource Scheduler和Application Manager。
Resource Manager的调度器是一个纯的调度器,它不从事任何与应用程序相关的工作,它将系统中的资源分配给各个正在运行中的程序,它不负责监控或者跟踪应用的执行状态,也不负责重新启动因应用程序失败或者硬件故障而产生的失败任务。这些都由应用程序对应的Application Master完成。调度器是一个可插拔的组件,用户可以根据自己的需要设计新的调度器,YARN提供了很多直接可用的调度器。
应用程序管理器,它负责整个系统中所有应用程序,包括应用程序提交,与调度器协商资源已启动Application Master,监控Application Master运行状态,并在失败的时候通知它。而具体的任务,则交给Application Master去管理,相当于一个项目经理。用户提交的每一个应用程序都包含一个Application Master,Application Master主要是与Resource Manager协调协商获取资源Application Master将得到的作业分配内部的这些任务Application Master负责与Node Manager通信以启动停止任务,并监控该应用程序所在,所有任务运行状态,当任务运行失败时,重新为任务申请资源并重启任务。
Node Manager作为YARN的一个slave,它是整个运行的一个执行者,Node Manager是每个节点上资源和任务管理器,它会定时向Resource Manager汇报本节点的资源使用情况和各个Container(这是一个动态的资源单位)的运行状态,并且Node Manager接收并处理来自Application Master的Container启动和停止等请求。Container资源抽象,它是封装了某个节点的多维度资源,比如封装了内存、CPU、磁盘、网络,当Application Master向Resource Manager申请资源时,Resource Manager为Application Master返回的资源是一个Container,得到资源的任务只能使用该Application Master,Container是根据应用程序需求动态生成的。
流程图
工作原理
首先,Client向YARN中提交一个应用程序,包括Application Master,启动Application Master和用户程序;
然后,ResourceManager会为该应用程序分配一个Container,它首先会跟Node Manager进行通信,要求它在这个Container中启动应用程序的Application Master;
第三步,Application Master一旦生成以后,它首先会向ResourceManager注册,这样用户可以直接通过ResourceManager查看应用程序的运行状态,然后它将为各个任务申请资源并监控它们的运行状态,直到运行结束,它会以轮询的方式,通过RPC协议向ResouceManager申请和领取资源,一旦Application Master申请到资源后,它会和Node Manager通信,要求它启动任务;
Node Manager为任务设置好运行环境,以及环境变量、架包还有二进制程序,将任务启动命令写在脚本中,并通过运行该脚本启动任务,各个任务通过RPC协议向Application Master汇报自己的状态和进度,这样会让Application Master随时掌握各个任务的一个运行状态,一旦任务失败,Application Master就会重启该任务,重新申请资源。应用程序运行完成后,Application Master就会向ResourceManager注销并关闭此任务。我们在应用程序整个运行过程中可以用RPC向Application Master查询应用程序当前的运行状态,在Web上可以看到整个的作业的运行状态。
标签:
原文地址:http://www.cnblogs.com/muzili-ykt/p/5932133.html