Hadoop 2.6.0下面的关于Yarn工程，如下所示，主要有以下七个module： hadoop-yarn-server-application hadoop-yarn-server-common:resource manager 和node manager 共享的API hadoop-yarn ...
分类：
其他好文 时间：
2016-09-12 20:44:59
阅读次数：
218
v2版本的MapReduce作业中，作业JOB_SETUP_COMPLETED事件的发生，会触发作业由SETUP状态转换到RUNNING状态，而作业状态转换中涉及作业信息的处理，是由SetupCompletedTransition来完成的，它主要做了四件事：1、通过设置作业Job的成员变量setupProgress为1，标记作业setup已完成；2、调度作业Job的Map Task；3、调度作业的JobReduce Task；4、如果没有task了，则生成JOB_COMPLETED事件并交由作业的事件处理器...
分类：
其他好文 时间：
2016-05-06 19:41:41
阅读次数：
606
作业运行方式Uber or Non-Uber是通过Job的makeUberDecision()方法，传入作业大小inputLength来确定的，本文，我们将研究这一话题，即如何确定作业运行方式Uber or Non-Uber？...
分类：
其他好文 时间：
2016-05-04 06:36:58
阅读次数：
241
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。...
分类：
移动开发 时间：
2016-05-01 06:36:43
阅读次数：
214
AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道，即多个事件处理器，可以使用一个线程池调度事件。...
分类：
其他好文 时间：
2016-04-29 17:55:55
阅读次数：
173
AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道，即多个事件处理器，可以使用一个线程池调度事件。...
分类：
其他好文 时间：
2016-04-26 20:19:05
阅读次数：
237
转自：http://blog.csdn.net/androidlushangderen/article/details/48128955YARN学习系列：http://blog.csdn.net/Androidlushangderen/article/category/5780183前言在之前两周主...
分类：
移动开发 时间：
2015-12-14 06:42:24
阅读次数：
299
前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...
分类：
其他好文 时间：
2015-09-13 21:43:11
阅读次数：
386
前言任何系统即使做的再大，都会有可能出现各种各样的突发状况。尽管你可以说我在软件层面上已经做到所有情况的意外处理了，但是万一硬件出问题了或者说物理层面上出了问题，恐怕就不是多写几行代码能够立刻解决的吧，说了这么多，无非就是想强调HA，系统高可用性的重要性。在YARN中，NameNode的HA方式估计很多人都已经了解了，那本篇文章就来为大家梳理梳理RM资源管理器HA方面的知识，并不是指简单的RM的H...
分类：
其他好文 时间：
2015-09-06 06:24:14
阅读次数：
390
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设...
分类：
移动开发 时间：
2015-08-31 23:40:56
阅读次数：
276
