The fundamental idea of YARN is to split the two major responsibilities of the JobTracker—that is, resource management and job scheduling/monitoring—i...
分类：
其他好文 时间：
2015-04-24 07:53:21
阅读次数：
165
本文引自吴超博客：http://www.superwu.cn/2014/02/12/1094/hadoop是分布式系统，运行在linux之上，配置起来相对复杂。hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoo...
分类：
其他好文 时间：
2015-04-23 12:49:38
阅读次数：
150
大事件：? Hadoop新一代(2.x)计算平台YARN 一代hadoop存在的问题： 1.Jobtracker单点，容易导致崩溃，节点较多时造成性能瓶颈 2.作业分配基于槽位（slot），分配粒度太粗 3.Jobtracker和Tasktracker多次来回斱能启动作业，导致小...
分类：
其他好文 时间：
2015-04-20 10:57:03
阅读次数：
150
公司有一个Spark on Yarn集群，基于CM5.2.0+CDH5.2.0搭建，Spark的版本是1.1.0.为了使用Spark1.2.0的一些特性，决定将集群版本升级到CM5.3.3+CDH5.3.3。之所以升级CM，是因为CM的版本号必须大于等于CDH的版本号。下面分成两个步骤介绍升级过程：CM升级和CDH升级。
1 CM升级过程介绍
1.1 admin用户登陆http://1...
分类：
其他好文 时间：
2015-04-15 13:38:14
阅读次数：
279
1.Hadoop YARN产生背景 源于MapReduce1.0 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本，而共享模式通常需要少数管理员即可完成多个框架的统一管理。 数据共享 随着数据量的暴增，跨集群间的数据移动不仅需花费更长的时间，且硬...
分类：
其他好文 时间：
2015-04-15 11:08:38
阅读次数：
308
简介：本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。 读者通过本文中...
分类：
其他好文 时间：
2015-04-14 19:27:36
阅读次数：
158
文章内容来源：http://blog.163.com/yangshaohui_2004/blog/static/618545020144711438505/在yarn-site.xml属性：yarn.scheduler.fair.allow-undeclared-pools如果这是true，新的队列...
分类：
其他好文 时间：
2015-04-14 16:26:35
阅读次数：
2707
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-04-13 22:24:18
阅读次数：
392
1、下载源码，根据自己的环境编译，我这里下载的是spark1.3版本本人采用sbt编译，SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=ture sbt/sbt assembly这句代码共有两个参数，第一个是指本机的hadoop环境的版本，第二个参数是指是否在yarn上运...
分类：
其他好文 时间：
2015-04-13 16:21:48
阅读次数：
191
ResourceManager： 存在单点故障，ResourceManager有备份节点，当主节点出现故障，将切换到从节点继续工作。NodeManager ： 失败之后，ResourceManager将失败任务告诉对应的ApplicationMaster， ApplicationMast...
分类：
其他好文 时间：
2015-04-11 11:40:54
阅读次数：
146
