如果你是一名Java开发人员,我能够确定你肯定知道ConcurrentModificationException,它是在使用迭代器遍历集合对象时修改集合对象造成的(并发修改)异常。实际上,Java的集合框架是迭代器设计模式的一个很好的实...
分类:
其他好文 时间:
2015-01-30 17:55:08
阅读次数:
195
介绍Hadoop安装好后,有人会想做一个mapreduce的job跑一跑,mapreduce其实是两个功能,一个是mapper,一个是reducer,废话不多说,现在开始。正文1环境1.1部署hadoop单机版即可,namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类:
其他好文 时间:
2015-01-30 17:52:32
阅读次数:
313
mapreduce_shuffle does not exist
提交作业出现类似下面的错误:
mapreduce_shuffle does not exist
解决办法:
在 yarn-site.xml 配置文件中增加:
yarn.nodemanager.aux-services
mapreduce_shuffle...
分类:
其他好文 时间:
2015-01-22 18:15:37
阅读次数:
182
1. hadoop集群:1.1 系统及硬件配置: hadoop版本:2.6 ;三台虚拟机:node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103); 每台机器2G内存、1个CPU核; node101: NodeManager、 NameNode、ResourceManager、DataNode; ...
分类:
编程语言 时间:
2015-01-11 06:15:09
阅读次数:
307
最新的Spark 1.2版本支持为Spark On YARN模式的Spark Application根据Task自动调整Executor数,要启用该功能,需做以下操作: 一: 在所有的NodeManager中,修改yarn-site.xml,为yarn.nodemanager.aux-services...
分类:
数据库 时间:
2015-01-09 00:22:12
阅读次数:
1652
需求:我有一个集合,如下,请问,我想判断里面有没有"world"这个元素,如果有,我就添加一个"javaee"元素,请写代码实现。import java.util.ArrayList;import java.util.Iterator;import java.util.List;public cla...
分类:
其他好文 时间:
2014-12-19 00:26:01
阅读次数:
254
This is not a synchronization problem. This will occur if the underlying collection that is being iterated over is modified by anything other than the...
分类:
其他好文 时间:
2014-12-17 20:12:38
阅读次数:
184
在概况(一)中,主要简单的对Yarn的情况作了简单的介绍,今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况,帮助大家更好的理解Yarn。
1)ResourceManager
在Yarn的整体架构中,他用的也是Master/Slave架构,他的Slave是NodeManager,RM在Yarn中扮演着一个非常重要的角色,他是负责集群中所有资源的统一管理和分配的。他根据各个NM的资源汇报...
分类:
其他好文 时间:
2014-12-16 17:08:18
阅读次数:
178
java 并发操作list集合导致java.util.ConcurrentModificationException...
分类:
编程语言 时间:
2014-12-15 17:18:11
阅读次数:
129