YARN调度器的性能瓶颈

标签：实现   time   apr   title   一个   img   isp   div   流程   

DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的.

AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级，其实现不是由Yarn框架提供（历史原因，yarn提供了MapReduce的AppMaster的实现），需要用户自己实现AppMaster进程的具体实现。

如何解决调度器调度能力不足, 计算资源浪费的问题.
调度器有: 公平调度器, 和容量量调度器.
公平调度器的 性能瓶颈的核心原因是 : 核心调度流程是单线程执行的。这意味着Container分配是串行的，这是调度器存在性能瓶颈的核心原因

参考

1万台 Hadoop 集群 YARN 的调优之路

YARN调度器的性能瓶颈

标签：实现   time   apr   title   一个   img   isp   div   流程   

原文地址：https://www.cnblogs.com/bitbitbyte/p/12946050.html