云帆大数据视频学习笔记，记录如下。 一、主机名设置的规范 /etc/hosts文件中添加如下的记录： 192.168.1.128 hadoop-yarn.cloudyhadoop.com had-yarn 需要注意的地方： 1.顺序问题，带域名的主机名在前，短主机名在后 2.不能出现大写字母 3.不 ...
分类：
其他好文 时间：
2017-02-10 23:03:42
阅读次数：
171
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一 ...
分类：
其他好文 时间：
2017-01-25 17:27:28
阅读次数：
229
Spark 1.x 爆内存相关问题汇总及解决 OOM java.lang.OutOfMemoryError # on yarn org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorIm ...
分类：
其他好文 时间：
2017-01-13 15:51:12
阅读次数：
2701
spark yarn的配置，主要是对yarn的日志的处理，其他参数请参考hadoop官网参数 地址：http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml ...
分类：
其他好文 时间：
2017-01-05 18:03:46
阅读次数：
221
一、问题现象某一个nodemanager退出后，导致applicationmaster中出现大量的如下日志，并且持续很长时间，applicationmaster才成功退出。2016-06-2409:32:35,596INFO[ContainerLauncher#3]org.apache.hadoop.ipc.Client:Retryingconnecttoserver:dchadoop206/192.168.1.199:3295..
分类：
移动开发 时间：
2016-12-09 19:49:49
阅读次数：
256
本文从Hadoop是什么、能做什么、谁使用三个主要问题去讲解。对于重点知识如MapReduce、YARN、Hadoop生态系统内的其他组件（HBase、Pig、Hive、Zookeeper等）的介绍和使用这里不做详细说明，需要大家对这些内容扩展并深入学习。1、Hadoop是什么及功能1、2002年，Hadoop作为一个..
分类：
其他好文 时间：
2016-12-05 02:54:44
阅读次数：
164
首先要说一下，Hadoop 2.x版本以后的改动，在这里帖一篇文章，觉得写的不错。 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 接下来，我们来搭建Hadoop单机版本，我下的版本是2.7.3，同样的我们还是下载 ...
分类：
其他好文 时间：
2016-12-02 13:59:36
阅读次数：
215
一、问题描述yarn2.0发生resourcemanagerdown(master2)掉，并引起resourcemanager的failover切换二、问题分析1）看master2上resourcemanager的日志2016-06-2612:35:41,504INFOorg.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger:USER=warehouseOPERATION=AMReleased..
分类：
其他好文 时间：
2016-12-01 23:07:35
阅读次数：
1037
报错： 原因： hadoop目录下存在老版本jline: /hadoop-2.6.0/share/hadoop/yarn/lib： -rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar 解决： cp /hive/apache-hive- ...
分类：
其他好文 时间：
2016-11-25 12:20:28
阅读次数：
208
搭建Hadoop Yarn on Docker 一、概览 Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor（DCE）使得Yarn NodeManager服务可以将其container进程运行在Dock ...
分类：
其他好文 时间：
2016-11-24 18:32:49
阅读次数：
253
