一、准备工作 （1）Hadoop2.7.2 在linux部署完毕，成功启动dfs和yarn，通过jps查看，进程都存在 （2）安装maven 二、最终效果 在windows系统中，直接通过Run as Java Application运行wordcount，而不需要先打包成jar包，然后在linux ...
分类：
移动开发 时间：
2016-08-05 06:34:40
阅读次数：
2207
ResourceManager高可用配置 1. yarn-site.xml配置 <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha</value> </property> <property> <name>ya ...
分类：
其他好文 时间：
2016-08-02 00:58:05
阅读次数：
216
Yarn 原理介绍 大纲： Hadoop 架构介绍 YARN 产生的背景 YARN 基础架构及原理 Hadoop的1.X架构的介绍 在1.x中的NameNodes只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份，但是总会存在一定的时延，如果NameNod ...
分类：
其他好文 时间：
2016-08-01 08:03:41
阅读次数：
151
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2016-07-30 19:53:50
阅读次数：
303
由于暴力关机，Hadoop fs -ls 出现了下图问题： 问题出现的原因是下面红框框里面的东西，我当时以为从另一个节点下载一个conf.cloudera.yarn文件就能解决问题，发现不行啊，于是删掉。 从另一个节点scp过来这个文件。 解决办法： 问题解决了。如下图： ...
分类：
其他好文 时间：
2016-07-24 01:42:43
阅读次数：
862
在YARN中，资源调度器（Scheduler）是ResourceManager中的重要组件，主要负责对整个集群（CPU，内存）的资源进行分配和调度，分配以资源Container的形式分发到各个应用程序中（如MapReduce作业），应用程序与资源所在节点的NodeManager协作利用Container完成具体的任务（如Reduce Task）。Scheduler以可插拔的形式来配置，框架默认提...
分类：
其他好文 时间：
2016-07-23 07:36:23
阅读次数：
321
从业务的角度看，一个应用需要分两部分进行开发，一个是接入YARN平台，实现3个协议，通过YARN实现对集群资源的访问和利用；另一个是业务功能的实现，这个与YARN本身没有太大关系。下面主要阐述如何将一个应用接入YARN平台。 YARN开发流程包括Client和ApplicationMaster的开发 ...
分类：
其他好文 时间：
2016-07-20 21:20:34
阅读次数：
211
1. ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 调度器 调 度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执 ...
分类：
其他好文 时间：
2016-07-20 19:38:40
阅读次数：
177
下面配置的是两个队列default和etl，default队列分配20%的处理能力,etl队列分配80%的处理能力,用户dba只能向default队列提交作业，用户etl只能向etl队列提交作业，dba用户组只能向default队列提交任务：yarn.scheduler.capacity.maximum-am-resource-percent=0.2--AM可以占用资..
分类：
其他好文 时间：
2016-07-20 13:40:49
阅读次数：
2458
最近在折腾kylin，这里记录一下完整的安装流程环境准备CDH5.7.0kylin-cdh5.7.02.安装流程(1)准备好cdh5.7.0的相关关键，主要需要hdfs,hive,hbase，保证yarn中Jobhistory启动(2)解压apache-kylin-1.5.2.1-cdh5.7-bin.tar至/opt，相关命令为:tarzvxfapache-kylin-1.5.2.1-cdh5.7-..
分类：
Web程序 时间：
2016-07-19 11:36:23
阅读次数：
1903
