说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类:
其他好文 时间:
2016-04-29 16:48:19
阅读次数:
212
Hadoop2.x.x版本的底层实现中作了很多优化:用状态机对各种对象生命周期和状态转移进行管理;采用事件机制避免线程同步与阻塞;采用Protocol Buffers优化RPC性能;采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析,在这个过程中,会捎带一些事件的内容。...
分类:
其他好文 时间:
2016-04-29 10:36:12
阅读次数:
241
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理
下面我画了一张图,便于理解MapReduce得整个工作原理
下面对上面出现的一些名词进行介绍
ResourceManager:是YARN资源控制框架的中心模块...
分类:
其他好文 时间:
2016-04-28 18:20:44
阅读次数:
175
前言 说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。 概念 在具体分析源码之前,我们先看看YARN是如何定义一个事件的。比如作业启动的事件,很多人可能会用常量将它定义到一个class文件中,就 ...
分类:
其他好文 时间:
2016-04-27 15:40:54
阅读次数:
176
AsyncDispatcher是Yarn中事件异步分发器,它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件,其在一个特定的单线程中分派事件,交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道,即多个事件处理器,可以使用一个线程池调度事件。...
分类:
其他好文 时间:
2016-04-26 20:19:05
阅读次数:
237
说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类:
其他好文 时间:
2016-04-26 12:42:38
阅读次数:
209
转自:http://www.open-open.com/lib/view/open1453097241308.html 在MapReduce中,一个YARN 应用被称作一个job, MapReduce 框架提供的应用,master的一个实现被称作MRAppMaster MapReduce Job的时 ...
分类:
其他好文 时间:
2016-04-25 20:57:34
阅读次数:
190
Apache YARN(Yet Another Resource Negotiator)是一个HADOOP集群资源管理系统。YARN在HADOOP2
中引入,但是它足够通用,也支持其它的分布式计算程序。
YARN提供了用于请求和使用集群资源的API,但是这些API不是直接由用户代码使用的。用户写更高级的由
分布式计算框架提供的API,这些框架是建立在YARN之上的,对用户隐藏...
分类:
其他好文 时间:
2016-04-22 20:52:22
阅读次数:
288
主要介绍Hadoop家族产品,常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa,新增加的项目包括,YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume,Bigtop,Crunch,Hue等。从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件..
分类:
其他好文 时间:
2016-04-19 20:20:22
阅读次数:
335
ResourceTrackerProtocol:注冊、汇报节点的健康状况和Container的执行情况。 AppMasterProtocol:向RM注冊、申请和释放资源。 AppClientProtocol:向RM提交用户程序、控制程序、查询应用程序。 ResourceTrackerProtocol ...
分类:
其他好文 时间:
2016-04-18 13:35:12
阅读次数:
177