一、问题描述 日志文件信息如下： 二、解决办法一 i. 删除 yarn-nm-state 目录的所有文件再次启动 ii. 再次启动 NodeManager 组件 我这里使用的是 Ambari 来管理的，直接就Web界面操作，也可以使用命令操作启动。 iii. 查看是否启动成功，已启动成功 三、解决办 ...
分类：
其他好文 时间：
2019-08-08 13:32:07
阅读次数：
86
在foreach循环中使用remove报ConcurrentModificationException异常原因 我的代码具体是这样的 这样会导致remove后，导致list在循环中下标和实际已经被修改后的下标不一致 我自己的解决方案是： 记录下标 不改变list本身 等foreach结束后，再删除 ...
分类：
其他好文 时间：
2019-08-03 21:54:15
阅读次数：
150
一个Applciation运行在YARN上的流程为，从YARN Client向ResourceManager提交任务，将Applciation所需资源提交到HDFS中，然后ResourceManager启动APPMaster，APPMaster通知各个NodeManager启动container执行 ...
分类：
其他好文 时间：
2019-07-24 13:32:03
阅读次数：
106
1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
早上看CDH发现有一个nodemanager挂掉 然后查看对应的日志。 发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间 清理磁盘的时候发现主要是/tmp目录下面生成了很多 类似这种的日志。 清理完空间之后 重启nodemanager。发现还是启不来 到这里之后发现就停住了。 ...
分类：
其他好文 时间：
2019-07-05 09:37:40
阅读次数：
187
：一、安装jdk环境（前提） 二、安装hadoop（hadoop-2.7.7.tar.gz） 1. 角色分配（3节点搭建） node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类：
其他好文 时间：
2019-06-05 23:35:35
阅读次数：
111
op.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) at org.apache.hadoop.yarn.server.nodemanager.conta ...
分类：
其他好文 时间：
2019-04-29 21:23:09
阅读次数：
272
在迭代遍历线程不安全的集合的时候，如ArrayList，如果其他线程修改了该集合，那么将抛出ConcurrentModificationException，这就是 fail-fast 策略。 modCount记录了集合的修改次数，在迭代器初始化过程种会将这个值赋给迭代器的expectedModCou ...
分类：
编程语言 时间：
2019-04-24 00:24:50
阅读次数：
140
fail-fast（快速失败）：多线程情况下，一个线程通过迭代器读取集合中的值时，另一个线程修改了集合，则会抛出ConcurrentModificationException异常； 集合中通过modCount记录集合被修改的次数，每次执行next和remove方法的时候都会先检查这个modCount ...
分类：
其他好文 时间：
2019-04-23 19:06:24
阅读次数：
166
Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
