Yarn架构

标签：处理   task   需要   res   告诉   实现   node   利用   基于   

jobtracker存在单点故障问题

jobtracker只支持mapreduce，计算框架不具有可扩展性

jobtracker是性能瓶颈

yarn可以整合不同的计算框架，提高资源利用率

 yarn的基本架构

yarn运行过程

yarn容错性

Resource Manager 

存在单点故障

正在基于zookeeper实现HA

NodeManager

失败后，RM将失败任务告诉对应的AM，AM决定如何处理失败的任务。

Application Master

失败后，由RM负责重启

AM需要处理内部任务的容错问题

RMAppMaster会保存已经运行完成的Task，重启后无需重新运行

Yarn架构

标签：处理   task   需要   res   告诉   实现   node   利用   基于   

原文地址：http://www.cnblogs.com/fisherinbox/p/6682993.html