首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
运行脚本，提交job往YARN提交Samza
job要使用run-job.sh这个脚本。samza-example/target/bin/run-job.sh
--config-factory=samza.config.factories.PropertiesConfigFactory --conf...
分类：
其他好文 时间：
2014-05-10 17:52:13
阅读次数：
609
0、oozie只需安装在一台服务器上，这里选择在namenode上来安装；安装用户为cloud-user1、安装Oozie包：
sudo yum install -y oozie
oozie-client2、对于yarn来说，需要修改/etc/oozie/conf/oozie-env.sh中： CA...
分类：
其他好文 时间：
2014-05-09 15:42:15
阅读次数：
580
很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来:
core-site.xml:
fs.defaultFS
hdfs://fc20:9000
hadoop.tmp.dir
/home/ljq/hadoop/tm...
分类：
其他好文 时间：
2014-05-09 00:35:27
阅读次数：
342
当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。如图2-11所示，YARN的工作流程分为以下几个步骤：步骤1用户向YA..
分类：
其他好文 时间：
2014-05-08 03:40:11
阅读次数：
443
这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanod...
分类：
其他好文 时间：
2014-05-07 04:33:35
阅读次数：
359
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
老是报物理内存越界，kill
container，然后把yarn.scheduler.minimum-allocation-mb设成2048就好了跟这个yarn.nodemanager.pmem-check-enabled参数应该也有关系在这篇文章中得到启发：http://bise.aliapp.c...
分类：
其他好文 时间：
2014-05-07 02:15:35
阅读次数：
409
一、概述：
Yarn调度器有许多实现，如Fifo, Capacity和Fair schedulers等。与其同时，正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性，调度决策受许多因素影响，如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前，评估一个调度算法是非常重要的，不幸的是，评估一个调度算法是不那么容易的，评估一个真正的集群是非常耗...
分类：
其他好文 时间：
2014-05-03 21:00:00
阅读次数：
443
Spark on yarn执行流程源代码分析
目前的分析主要基于spark0.9.0的cdh5的版本进行分析，
源代码下载地址：https://github.com/cloudera/spark.git
下载方式：gitclone url ./spark
进入spark目录，执行gitcheckout
cdh5-0.9.0_5.0.0
源代码编译
使用sbt编译spa...
分类：
其他好文 时间：
2014-04-29 13:13:22
阅读次数：
446
