AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能会有多个处理渠道，即多个事件处理器，可以使用一个线程池调度事件。...
分类：
其他好文 时间：
2016-04-26 20:19:05
阅读次数：
237
说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类：
其他好文 时间：
2016-04-26 12:42:38
阅读次数：
209
转自：http://www.open-open.com/lib/view/open1453097241308.html 在MapReduce中，一个YARN 应用被称作一个job， MapReduce 框架提供的应用，master的一个实现被称作MRAppMaster MapReduce Job的时 ...
分类：
其他好文 时间：
2016-04-25 20:57:34
阅读次数：
190
Apache YARN(Yet Another Resource Negotiator）是一个HADOOP集群资源管理系统。YARN在HADOOP2
中引入，但是它足够通用，也支持其它的分布式计算程序。
YARN提供了用于请求和使用集群资源的API，但是这些API不是直接由用户代码使用的。用户写更高级的由
分布式计算框架提供的API，这些框架是建立在YARN之上的，对用户隐藏...
分类：
其他好文 时间：
2016-04-22 20:52:22
阅读次数：
288
主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume,Bigtop,Crunch,Hue等。从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件..
分类：
其他好文 时间：
2016-04-19 20:20:22
阅读次数：
335
ResourceTrackerProtocol：注冊、汇报节点的健康状况和Container的执行情况。 AppMasterProtocol:向RM注冊、申请和释放资源。 AppClientProtocol:向RM提交用户程序、控制程序、查询应用程序。 ResourceTrackerProtocol ...
分类：
其他好文 时间：
2016-04-18 13:35:12
阅读次数：
177
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/index.html ...
分类：
其他好文 时间：
2016-04-17 00:26:19
阅读次数：
125
我64位机器，当时hadoop启动的时候出现这个问题是因为hadoop本身自带的本地库是32位的，我现在hadoop2.2.0已经替换了本地库为64位的了，并且编译spark的时候采用了相对应的版本：SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/s ...
分类：
其他好文 时间：
2016-04-16 22:51:03
阅读次数：
199
一、Hadoop运行MapReduce流程二、YARN运行MapReduce流程...
分类：
其他好文 时间：
2016-04-16 19:15:39
阅读次数：
170
