在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误： 这个错误在Hadoop mapreduce bug的信息页面（https://issues.apache.org/jira/browse/MAPREDUCE-5655）已经解决了，且影响的版本是Hadoop2.2、H ...
之前只他调整过dfs 的存储目录到最大配额的目录，其它没有处理（就是在默认的/ 目录下，而这个目录的存储配额只有50G） 运行一周的时间不到，集群开始告警，查看是目录/ 的存储占用超过了60% 再查看具体目录情况，主要占用的目录有四个，分别是： /yarn 11G /var 9.6G /opt 4. ...
分类：
其他好文 时间：
2016-04-05 10:46:56
阅读次数：
166
出自：https://segmentfault.com/a/1190000000709725 Hadoop参数大全 主要配置文件： core hdfs yarn mapred 重要性表示如下： 重要 一般 不重要 core-default.xml hadoop.common.configuratio ...
分类：
其他好文 时间：
2016-04-05 09:22:33
阅读次数：
253
Spark执行模式 Spark 有非常多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则执行在集群中，眼下能非常好的执行在 Yarn和 Mesos 中。当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，假设企业已经有 Yarn ...
分类：
其他好文 时间：
2016-03-31 14:12:30
阅读次数：
351
一、导读 最近开始学习大数据分析，说到大数据分析，就必须提到Hadoop与Spark。要研究大数据分析，就必须安装这两个软件，特此记录一下安装过程。Hadoop使用V2版本，Hadoop有单机、伪分布式、分布式三种部署方案，这里使用分布式部署方案。而Spark有三种部署方案：Standalone, ...
分类：
其他好文 时间：
2016-03-29 16:18:01
阅读次数：
299
CDH对我们已经封装了，我们如果需要Spark on Yarn，只需要yum安装几个包就可以了。前面的文章我有写过如果搭建自己内网的CDH Yum服务器，请参考《CDH 5.5.1 Yum源服务器搭建》http://www.cnblogs.com/luguoyuanf/p/56187ea1049f4... ...
分类：
其他好文 时间：
2016-03-26 12:18:57
阅读次数：
153
Apache 官方原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
一 简介二 架构
1 RM 切换
11 手工故障切换22 自动故障切换23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManage...
分类：
其他好文 时间：
2016-03-26 07:36:06
阅读次数：
281
#!/bin/bash##InstallHadoop2usingpdsh/pdcpwherepossible.##Commandcanbeinteractiveorfile-based.Thisscriptsetsup#aHadoop2clusterwithbasicconfiguration.Modifydata,log,andpid#directoriesasdesired.Furtherconfigureyourclusterwith./conf-hadoop2.sh###Basicenvironmen..
分类：
其他好文 时间：
2016-03-23 06:36:28
阅读次数：
152
运行mr，出现如下异常 需要配置yarn-site.xml中配置如下信息 参考地址： https://issues.apache.org/jira/browse/MAPREDUCE-2983 https://issues.apache.org/jira/browse/BIGTOP-764
分类：
其他好文 时间：
2016-03-22 10:36:11
阅读次数：
173
hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考： http://www.cnblogs.com/liuxinan/p/52
分类：
其他好文 时间：
2016-03-21 18:18:07
阅读次数：
203
