近期在读Hadoop#Yarn部分的源代码。读到状态机那一部分的时候，感到enmu的使用方法实在是太灵活了，在给并发编程网翻译一篇文章的时候，正好碰到一篇这种文章。就赶紧翻译下来，涨涨姿势。 原文链接：http://www.javacodegeeks.com/2011/07/java-secret-
分类：
编程语言 时间：
2016-02-20 13:16:32
阅读次数：
203
Yarn包括resourcemanager和datamanagerHdfs包括namenode和datanode这两个服务启动了，就可以跑mapreduce程序了
分类：
其他好文 时间：
2016-02-11 18:07:22
阅读次数：
145
本期内容：1MapReduce架构解密2MapReduce运行集群研究3通过Java编程操作MapReduce实战Hadoop从2。0开始就已经必须运行在Yarn上面了，1.0时根本不关心Yarn。现在是MR，也是讲Yarn的，而且已经是基础入门阶段。零基础已经过去了。明天开始-20个左右的MapReduce代码的集合讲解一：..
分类：
其他好文 时间：
2016-02-10 18:50:08
阅读次数：
210
上午课程：6：00amHadoopMapReduce内幕解密：MR架构解密MR运行集群研究JAVA操作MR实战【随课笔记】：一：基于Yarn的MapReduce架构1.MapReduce代码程序是基于实现Mapper和Reducer两大阶段构成的，其中Mapper是把一个计算任务分解成很多小任务进行并行计算，Reduce进行最后的统计..
分类：
其他好文 时间：
2016-02-10 18:48:22
阅读次数：
284
MapReduce拆分JobTracker为资源管理及任务生命周期管理两个独立的组件MapReduce在Hadoop2中称为MR2或YARN，将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的服务:用于管理全部资源的ResourceManager以及管理每个应用的ApplicationMaster，..
分类：
移动开发 时间：
2016-02-05 02:10:28
阅读次数：
200
简介 本文介绍了Hadoop自0.23.0版本后新的MapReduce框架(Yarn)原理，优势，运行机制和配置方法等，着重介绍新的yarn框架相对于原框架的差异及改进，并通过Demo示例详细介绍了在新的Yarn框架下搭建和开发Hadoop程序的方法。读者通过本文中新旧Hadoop MapReduc
分类：
其他好文 时间：
2016-01-31 21:32:17
阅读次数：
450
背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce
分类：
其他好文 时间：
2016-01-31 21:28:47
阅读次数：
222
大数据体系结构:Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布...
分类：
其他好文 时间：
2016-01-20 22:37:54
阅读次数：
485
不可变基础设施如何更好地使用容器技术实现不可变基础设施TachyonTachyon简介南京大学PASA大数据实验室SPARK/TACHYON:基于内存的分布式存储系统Spark on Yarn
搭建spark on yarn集群全过程 —— 可与 3 形成参考
Spark on Yarn
Spark On YARN 集群安装部署 —— 推荐
1) 配置Hadoop Yarn集群时出现的问题及修复：在...
分类：
其他好文 时间：
2016-01-20 13:23:01
阅读次数：
180
在HDFS HA(http://www.cnblogs.com/yinchengzhe/p/5140117.html)基础上进行yarn的安装。1、配置yarn-site.xml 参数详情参考http://www.cnblogs.com/yinchengzhe/p/5142659.html 配置.....
分类：
其他好文 时间：
2016-01-19 19:04:35
阅读次数：
166
