概述 yarn命令由bin/yarn下面的脚本调用。不带任何参数运行yarn脚本会打印所有命令的描述。 用法：?yarn [--config confdir] COMMAND yarn有一个选项解析框架作为运行类用于解析一般的选项。 命令选项 描述 --co...
分类：
其他好文 时间：
2015-09-14 17:03:02
阅读次数：
322
前言最近在排查公司Hadoop集群性能问题时,发现Hadoop集群整体处理速度非常缓慢,平时只需要跑几十分钟的任务时间一下子上张到了个把小时,起初怀疑是网络原因,后来证明的确是有一部分这块的原因,但是过了没几天,问题又重现了,这次就比较难定位问题了,后来分析hdfs请求日志和Ganglia的各项监控指标,发现namenode的挤压请求数持续比较大,说明namenode处理速度异常,然后进而分析出是...
分类：
其他好文 时间：
2015-09-13 21:43:11
阅读次数：
386
操作系统：windows 10IDEA ： IDEA 14.1.41：使用IDEA导入spark 1.5的源码，注意maven配置为自动导入2：在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。3： 在maven窗口下勾选gen...
分类：
其他好文 时间：
2015-09-12 22:16:54
阅读次数：
274
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-...
分类：
其他好文 时间：
2015-09-09 01:09:32
阅读次数：
255
Spark的运行模式多种多样，在单机上既可以以本地模式运行，也可以以伪分布式模式运行。而当以分布式的方式运行在Cluster集群中时，底层的资源调度可以使用Mesos 或者是Hadoop Yarn ，也可以使用Spark自带的Standalone Deploy模式Spark处于活跃的开发过程中，代码...
分类：
其他好文 时间：
2015-09-08 18:11:27
阅读次数：
304
前言任何系统即使做的再大，都会有可能出现各种各样的突发状况。尽管你可以说我在软件层面上已经做到所有情况的意外处理了，但是万一硬件出问题了或者说物理层面上出了问题，恐怕就不是多写几行代码能够立刻解决的吧，说了这么多，无非就是想强调HA，系统高可用性的重要性。在YARN中，NameNode的HA方式估计很多人都已经了解了，那本篇文章就来为大家梳理梳理RM资源管理器HA方面的知识，并不是指简单的RM的H...
分类：
其他好文 时间：
2015-09-06 06:24:14
阅读次数：
390
错误信息如下：15/09/05 03:48:02 INFO mapreduce.Job: Job job_1441395011668_0001 failed with state FAILED due to: Application application_1441395011668_0001 fa...
分类：
其他好文 时间：
2015-09-04 21:14:33
阅读次数：
382
从官方的文档我们可以知道，Spark的部署方式有很多种：local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多。 从代码中，我们可以...
分类：
其他好文 时间：
2015-09-02 16:03:31
阅读次数：
216
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设...
分类：
移动开发 时间：
2015-08-31 23:40:56
阅读次数：
276
1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { d...
分类：
其他好文 时间：
2015-08-28 00:46:31
阅读次数：
151
