作业运行方式Uber or Non-Uber是通过Job的makeUberDecision()方法，传入作业大小inputLength来确定的，本文，我们将研究这一话题，即如何确定作业运行方式Uber or Non-Uber？...
分类：
其他好文 时间：
2016-05-04 06:36:58
阅读次数：
241
YARN：下一代 Hadoop 计算平台 我们现在稍微改变一下用辞。以下名称的改动有助于更好地了解 YARN 的设计： ResourceManager 代替集群管理器 ApplicationMaster 代替一个专用且短暂的 JobTracker NodeManager 代替 TaskTracker ...
分类：
其他好文 时间：
2016-05-03 20:25:59
阅读次数：
144
1、YARN：将资源管理和作业调度/监控分成两个独立的进程。 包含两个组件：ResourceManager和ApplicationMaster 2、YARN的特性： 1）可扩展性；2）高可用性（HA）；3）兼容性（1.0版本的作业也可以执行）；4）提高集群利用率； 5）支持MapReduce编程范式 ...
分类：
其他好文 时间：
2016-05-02 18:22:33
阅读次数：
224
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Yarn上运行的，换句话说，MRAppMaster上MapReduce作业处理总流程是什么？这就是本文要研究的重点。...
分类：
移动开发 时间：
2016-05-01 06:36:43
阅读次数：
214
操作系统:CentOS6.6
x64,本文采用rpm方式安装corosync+pacemaker+drbd,采用二进制版本安装mysql-5.6.29。本文是在Corosync+Pacemaker+DRBD+NFS高可用实例配置基础上进行配置修改，然后进行测试的安装过程。一、双机配置1.app1,app2配置hosts文件，以及主机名。[root@app1soft]#..
分类：
数据库 时间：
2016-04-30 01:12:46
阅读次数：
315
AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道，即多个事件处理器，可以使用一个线程池调度事件。...
分类：
其他好文 时间：
2016-04-29 17:55:55
阅读次数：
173
说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类：
其他好文 时间：
2016-04-29 16:48:19
阅读次数：
212
Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用Protocol Buffers优化RPC性能；采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析，在这个过程中，会捎带一些事件的内容。...
分类：
其他好文 时间：
2016-04-29 10:36:12
阅读次数：
241
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理
下面我画了一张图,便于理解MapReduce得整个工作原理
下面对上面出现的一些名词进行介绍
ResourceManager：是YARN资源控制框架的中心模块...
分类：
其他好文 时间：
2016-04-28 18:20:44
阅读次数：
175
前言 说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。 概念 在具体分析源码之前，我们先看看YARN是如何定义一个事件的。比如作业启动的事件，很多人可能会用常量将它定义到一个class文件中，就 ...
分类：
其他好文 时间：
2016-04-27 15:40:54
阅读次数：
176
