http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/ 本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdf ...
分类：
其他好文 时间：
2016-05-27 23:35:44
阅读次数：
194
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。...
分类：
其他好文 时间：
2016-05-27 12:20:23
阅读次数：
157
对于节点数超过 4000 的大型集群，前一节描述的 MapReduce 系统开始面临着扩展的瓶颈。 2010 年 Yahoo 的团队开始设计下一代的 MapReduce。 （Yet Another Resource Negotiator、YARN Application Resource Nefot ...
分类：
其他好文 时间：
2016-05-26 18:32:27
阅读次数：
141
前言: Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行，比如Spark Standalone,YARN,mesos,这些集群给spark Applicatio ...
分类：
其他好文 时间：
2016-05-26 10:09:06
阅读次数：
135
问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由client向ResourceManager提交请求，并上传jar到HDFS上包含哪些步骤？ 4.传递给app的参数应该通过什么来指定？ 5 ...
分类：
其他好文 时间：
2016-05-25 18:13:17
阅读次数：
586
为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn，yarn对map... ...
分类：
其他好文 时间：
2016-05-25 12:54:43
阅读次数：
195
当client提交一个任务后,首先resourceManger(RM)来调度出一个container,这个container是在nodeManger(NM)运作的, client直接和这个container所在的NM进行通信,在这个container中启动applicationMaster(AM), ...
分类：
其他好文 时间：
2016-05-21 15:58:06
阅读次数：
208
前提条件 1.CDH安装spark服务 2.下载IntelliJ IDEA编写WorkCount程序 3.上传到spark集群执行 一.下载IntellJ IDEA编写Java程序 1.下载IDEA 官网地址：http://www.jetbrains.com/idea/ 下载IntlliJ IDEA ...
分类：
其他好文 时间：
2016-05-20 19:21:44
阅读次数：
663
一、基本组成结构1. ResourceManager负责对各个NodeManager 上的资源进行统一管理和调度。包含两个组件：
* Scheduler：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序
* Applications Manager：应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调...
分类：
其他好文 时间：
2016-05-20 17:35:59
阅读次数：
125
