Apache 官方原文地址:http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
一 简介二 架构
1 RM 切换
11 手工故障切换22 自动故障切换23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManage...
分类:
其他好文 时间:
2016-03-26 07:36:06
阅读次数:
281
#!/bin/bash##InstallHadoop2usingpdsh/pdcpwherepossible.##Commandcanbeinteractiveorfile-based.Thisscriptsetsup#aHadoop2clusterwithbasicconfiguration.Modifydata,log,andpid#directoriesasdesired.Furtherconfigureyourclusterwith./conf-hadoop2.sh###Basicenvironmen..
分类:
其他好文 时间:
2016-03-23 06:36:28
阅读次数:
152
运行mr,出现如下异常 需要配置yarn-site.xml中配置如下信息 参考地址: https://issues.apache.org/jira/browse/MAPREDUCE-2983 https://issues.apache.org/jira/browse/BIGTOP-764
分类:
其他好文 时间:
2016-03-22 10:36:11
阅读次数:
173
hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考: http://www.cnblogs.com/liuxinan/p/52
分类:
其他好文 时间:
2016-03-21 18:18:07
阅读次数:
203
Hadoop1.0最新稳定版本1.2.1 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce Hadoop2.0稳定版本2.2.0 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce 4.YARN H
分类:
其他好文 时间:
2016-03-20 21:17:58
阅读次数:
224
Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flu
分类:
其他好文 时间:
2016-03-20 21:14:09
阅读次数:
253
一、Hive集群安装1,安装好Hadoop,并启动HDFS和YARN。2,下载hive1.2.1http://apache.fayea.com/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz上传文件至集群中3.安装Hiveroot@spark-master:~#ls
apache-hive-1.2.1-bin.tar.gzcorelinks-anon.txtaaa公共的模板视频图片文档下..
分类:
其他好文 时间:
2016-03-15 00:54:30
阅读次数:
527
下面是 StuQ 发布的大数据技能图谱,比较实用,供参考 大数据处理框架 Spark - RDD - Spark SQL - Spark Streaming - MLLibHadoop - HDFS (分布式文件系统) - Mapreduce(计算框架) - Yarn(资源管理平台) - Pig
分类:
其他好文 时间:
2016-03-14 09:28:47
阅读次数:
173
This is a guide to migrating from Apache MapReduce 1 (MRv1) to the Next Generation MapReduce (MRv2 or YARN). See the following sections for more infor
分类:
其他好文 时间:
2016-03-12 10:29:27
阅读次数:
268
理想的世界,一个YARN应用请求将会立刻得到授予。而现实世界,资源是受限制的,在一个忙碌的集群中,一个应用经常需要等待他请求的资源。YARN调度负责这个事情,分配资源给应用通过一些方式定义。调度是一个困难的问题也没有所谓最好的方法。 YARN有三种调度,FIFO,Capacity,Fair Sche
分类:
其他好文 时间:
2016-03-04 16:06:42
阅读次数:
124