解决方式：把增强 for 改成 for(i) 循环！ 参考：https://blog.csdn.net/wchicho/article/details/51987992 ...
分类：
编程语言 时间：
2018-06-26 17:15:52
阅读次数：
160
先说结论：在用for遍历一个集合对象时，如果遍历过程中对集合对象的内容进行了修改（增加、删除），则会抛出ConcurrentModificationException。在单线程下用迭代器遍历修改，则不会报错。在多线程环境下则会报错。 原理：迭代器在遍历时直接访问集合中的内容， ...
分类：
编程语言 时间：
2018-06-21 21:11:08
阅读次数：
303
Folks, What is the recommended value for "yarn.nodemanager.resource.local-dirs"? We only have one value (directory) configured for the above property, ...
分类：
其他好文 时间：
2018-06-20 11:19:33
阅读次数：
137
一、引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构，其中ResourceManager是整个架构的核心组件，它负责整个集群中包括内存、CPU等资源的管理；ApplicationMaster负责应用程序在整个生命周期的任务调度；NodeManager负责本节点上资源的供给和隔离；Container可以抽象
分类：
其他好文 时间：
2018-06-20 11:16:07
阅读次数：
202
主机角色分配：NameNode、DFSZKFailoverController角色oversea-stable、bus-stable；需要安装软件有：JDK、Hadoop2.7.1nod3主机角色分配：ResourceManager；需要安装软件有：JDK、Hadoop2.7.1node4、node5、node6主机角色分配：JournalNode、DataNode、NodeManager、Quo
分类：
Web程序 时间：
2018-06-15 15:44:53
阅读次数：
234
Hadoop的启动和停止说明 sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。 ...
分类：
其他好文 时间：
2018-06-08 15:57:03
阅读次数：
147
Hadoop 问题1： Hadoop Slave节点 NodeManager 无法启动 解决方法： yarn-site.xml reducer取数据的方式是mapreduce_shuffle 问题2： 启动hadoop，报错Error JAVA_HOME is not set and could n ...
分类：
其他好文 时间：
2018-06-07 14:27:52
阅读次数：
183
集合篇 在迭代一个集合的时候，如何避免ConcurrentModificationException? 在遍历一个集合的时候，我们可以使用并发集合类来避免ConcurrentModificationException，比如使用CopyOnWriteArrayList，而不是ArrayList。 fa ...
分类：
其他好文 时间：
2018-05-30 19:19:01
阅读次数：
153
resourcemanager向nodemanager的心跳间隔 ...
分类：
其他好文 时间：
2018-05-29 00:21:57
阅读次数：
615
1.yarn的进程哪两个?NodeManager,ResourceManager2.rm进程包含哪两个?ApplicationsMaster,ResourceScheduler3.容器什么单词?是在NM节点上还是RM节点?container,在NM节点4.内存参数和CPU参数能记得几个?假如让你们去官网搜，你们会知道以什么关键词搜搜吗yarn.nodemanager.resource.memory
分类：
其他好文 时间：
2018-05-28 11:38:45
阅读次数：
118
