1. ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 调度器 调 度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执 ...
分类：
其他好文 时间：
2016-07-20 19:38:40
阅读次数：
177
下面配置的是两个队列default和etl，default队列分配20%的处理能力,etl队列分配80%的处理能力,用户dba只能向default队列提交作业，用户etl只能向etl队列提交作业，dba用户组只能向default队列提交任务：yarn.scheduler.capacity.maximum-am-resource-percent=0.2--AM可以占用资..
分类：
其他好文 时间：
2016-07-20 13:40:49
阅读次数：
2458
最近在折腾kylin，这里记录一下完整的安装流程环境准备CDH5.7.0kylin-cdh5.7.02.安装流程(1)准备好cdh5.7.0的相关关键，主要需要hdfs,hive,hbase，保证yarn中Jobhistory启动(2)解压apache-kylin-1.5.2.1-cdh5.7-bin.tar至/opt，相关命令为:tarzvxfapache-kylin-1.5.2.1-cdh5.7-..
分类：
Web程序 时间：
2016-07-19 11:36:23
阅读次数：
1903
北风网课程，超1000+课时，绝对是您零基础学习大数据的最佳选择。 本套课程分为两大部分：一.必修课，二.选修课。 必修课包括： 1.Linux基础知识，MapReduce,YARN,HDFS,Hive,Sqoop,Flume,Oozie,Hue,HBase等Hadoop框架。 2.Storm入门到 ...
分类：
其他好文 时间：
2016-07-16 00:14:59
阅读次数：
420
1、准备文件并设置编码格式为UTF-8并上传Linux 2、新建一个Java Project 3、导入jar 4、编写Map()和Reduce() 5、将代码输出成jar 6、在linux中启动hdfs 7、修改两个配置文件 8、在linux中启动yarn 9、运行mapReduce 10、查看运行 ...
分类：
其他好文 时间：
2016-07-15 20:39:44
阅读次数：
116
学习Hadoop2.0中包括HDFS、YARN、Mapreduce相关知识。...
分类：
其他好文 时间：
2016-07-15 11:11:22
阅读次数：
251
1. 介绍YARN（Yet Another Resource Negotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。
其核心出发点是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM），应用程序由一个作业（Job）或者Job...
分类：
其他好文 时间：
2016-07-13 17:27:35
阅读次数：
1084
YARN 简介 YARN 简介 YARN 简介 Apache Hadoop 是最流行的大数据处理工具之一。它多年来被许多公司成功部署在生产中。尽管 Hadoop 被视为可靠的、可扩展的、富有成本效益的解决方案，但大型开发人员社区仍在不断改进它。最终，2.0 版提供了多项革命性功能，其中包括 Yet ...
分类：
其他好文 时间：
2016-07-08 13:29:11
阅读次数：
222
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop核心项目提供了在低端硬件上构建云计算环境的基础服务,它也提供了运行在这个云中的软件所必须的API接口。Hadoo..
分类：
其他好文 时间：
2016-07-08 12:08:15
阅读次数：
230
oozie调用hive执行hql时的error java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:./tmp/yarn/32f78598-6ef2- ...
分类：
其他好文 时间：
2016-07-07 14:25:33
阅读次数：
339
