码迷,mamicode.com
首页 >  
搜索关键字:Yarn    ( 2001个结果
Hadoop2.6.0的事件分类与实现
说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类:其他好文   时间:2016-04-29 16:48:19    阅读次数:212
Hadoop2.6.0中YARN底层状态机实现分析
Hadoop2.x.x版本的底层实现中作了很多优化:用状态机对各种对象生命周期和状态转移进行管理;采用事件机制避免线程同步与阻塞;采用Protocol Buffers优化RPC性能;采用Apache Avro优化日志等。本文主要针对YARN中状态机的实现进行分析,在这个过程中,会捎带一些事件的内容。...
分类:其他好文   时间:2016-04-29 10:36:12    阅读次数:241
Hadoop2.6(新版本)----MapReduce工作原理
最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理 下面我画了一张图,便于理解MapReduce得整个工作原理 下面对上面出现的一些名词进行介绍 ResourceManager:是YARN资源控制框架的中心模块...
分类:其他好文   时间:2016-04-28 18:20:44    阅读次数:175
Hadoop2.6.0的事件分类与实现
前言 说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。 概念 在具体分析源码之前,我们先看看YARN是如何定义一个事件的。比如作业启动的事件,很多人可能会用常量将它定义到一个class文件中,就 ...
分类:其他好文   时间:2016-04-27 15:40:54    阅读次数:176
Yarn源码分析之事件异步分发器AsyncDispatcher
AsyncDispatcher是Yarn中事件异步分发器,它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件,其在一个特定的单线程中分派事件,交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道,即多个事件处理器,可以使用一个线程池调度事件。...
分类:其他好文   时间:2016-04-26 20:19:05    阅读次数:237
Hadoop2.6.0的事件分类与实现
说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类:其他好文   时间:2016-04-26 12:42:38    阅读次数:209
MapReduce 图解流程超详细解答(1)-【map阶段】
转自:http://www.open-open.com/lib/view/open1453097241308.html 在MapReduce中,一个YARN 应用被称作一个job, MapReduce 框架提供的应用,master的一个实现被称作MRAppMaster MapReduce Job的时 ...
分类:其他好文   时间:2016-04-25 20:57:34    阅读次数:190
第四章 YARN 第一节 YARN应用运行分析
Apache YARN(Yet Another Resource Negotiator)是一个HADOOP集群资源管理系统。YARN在HADOOP2 中引入,但是它足够通用,也支持其它的分布式计算程序。         YARN提供了用于请求和使用集群资源的API,但是这些API不是直接由用户代码使用的。用户写更高级的由 分布式计算框架提供的API,这些框架是建立在YARN之上的,对用户隐藏...
分类:其他好文   时间:2016-04-22 20:52:22    阅读次数:288
Hadoop学习之路(一)——Hadoop家族学习路线图
主要介绍Hadoop家族产品,常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa,新增加的项目包括,YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume,Bigtop,Crunch,Hue等。从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件..
分类:其他好文   时间:2016-04-19 20:20:22    阅读次数:335
Yarn中ResourceManager的RPC协议
ResourceTrackerProtocol:注冊、汇报节点的健康状况和Container的执行情况。 AppMasterProtocol:向RM注冊、申请和释放资源。 AppClientProtocol:向RM提交用户程序、控制程序、查询应用程序。 ResourceTrackerProtocol ...
分类:其他好文   时间:2016-04-18 13:35:12    阅读次数:177
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!