当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制，当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。...
分类：
其他好文 时间：
2016-05-13 14:57:57
阅读次数：
186
运行流程当你在MapReduce程序中调用了Job实例的Submit()或者waitForCompletion()方法，该程序将会被提交到Yarn中运行
其中的过程大部分被Hadoop隐藏起来了，对开发者来说是透明的
程序运行的过程涉及到个概念：
1.Client：提交程序的客户端
2.ResourceManager：集群中的资源分配管理
3.NodeManager：启动和监管各...
分类：
其他好文 时间：
2016-05-13 03:09:26
阅读次数：
175
这里简单总结一下自己在配置Hadoop完全分布式以及namenode的HA的步骤及遇到的问题和解决方法。...
分类：
其他好文 时间：
2016-05-13 01:58:22
阅读次数：
356
了解mapreduceV1（旧版本的mapreduce）与mapreduceV2（YARN）的区别我们需要先深入理解一下mapreduceV1的工作机制和设计思想。首先看一下mapreduce V1的运行图解
MapReduce V1的组件及功能分别是：
Client：客户端，负责编写mapreduce代码并配置和提交作业。
JobTracker：是整个mapreduce框架的核心，类似于...
分类：
其他好文 时间：
2016-05-12 18:58:16
阅读次数：
171
提示LOGS信息
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.NoRouteToHostException: No Route to Host from dataNode1/192.168.2.247 to nameNode:8031 failed on socket timeout exception: j...
分类：
编程语言 时间：
2016-05-12 12:14:53
阅读次数：
1208
Hadoop 2.x伪分布式环境搭建步骤： 1、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh 方法：使用notepad++(beifeng用户)代开这三个文件 添加代码：export JAVA_HOME=/opt/modules/jdk1.7.0_67 2、修改 ...
分类：
其他好文 时间：
2016-05-07 23:41:36
阅读次数：
175
v2版本的MapReduce作业中，作业JOB_SETUP_COMPLETED事件的发生，会触发作业由SETUP状态转换到RUNNING状态，而作业状态转换中涉及作业信息的处理，是由SetupCompletedTransition来完成的，它主要做了四件事：1、通过设置作业Job的成员变量setupProgress为1，标记作业setup已完成；2、调度作业Job的Map Task；3、调度作业的JobReduce Task；4、如果没有task了，则生成JOB_COMPLETED事件并交由作业的事件处理器...
分类：
其他好文 时间：
2016-05-06 19:41:41
阅读次数：
606
在理想国度，YARN应用发送的请求可以立即得到响应。在现实世界中，资源是有限的，在一个
繁忙的集群上，一个应用经常需要等待它的一些请求处理完成。...
分类：
其他好文 时间：
2016-05-06 16:10:25
阅读次数：
207
“ Hadoop 2.0引入YARN，大大提高了集群的资源利用率并降低了集群管理成本。其在异构集群中是怎样应用的?Hulu又有哪些成功实践可以分享? 为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理 ...
分类：
其他好文 时间：
2016-05-05 17:13:26
阅读次数：
130
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google的GFS论文，发表于2003年 ...
分类：
其他好文 时间：
2016-05-04 19:12:46
阅读次数：
155
