大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
在JDK的Collection中我们时常会看到类似于这样的话： 例如，ArrayList:注意，迭代器的快速失败行为无法得到保证，因为一般来说，不可能对是否出现不同步并发修改做出任何硬性保证。快速失败迭代器会尽最大努力抛出 ConcurrentModificationException。因此，为提高这类迭代器的正确性而编写一个依赖于此异常的程序是错误的做法：迭代器的快速失败行为应该仅...
分类：
编程语言 时间：
2014-07-27 11:29:52
阅读次数：
313
首先client向ResourceManager提交程序（包含ApplicationMaster程序，ApplicationMaster启动命令，用户程序）后，ResourceManager向资源调度器去申请资源，一旦申请的ApplicationMaster需要的资源，ApplicationMasterLaucher便与对应的NodeManager联系启动ApplicationMaster，同时向...
分类：
移动开发 时间：
2014-06-27 10:46:44
阅读次数：
434
測试版本号：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到例如以下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类：
其他好文 时间：
2014-06-17 00:51:07
阅读次数：
1853
今天项目中报了这个异常，到网上查了一下现总结如下：首页 > 程序开发 > 软件开发 > Java > 正文Java ConcurrentModificationException 异常分析与解决方案2014-03-19 我来说两句 来源：Java ConcurrentModificationExce...
分类：
编程语言 时间：
2014-06-15 08:08:25
阅读次数：
354
测试版本：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co...
分类：
其他好文 时间：
2014-06-03 06:26:17
阅读次数：
277
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程...
分类：
其他好文 时间：
2014-06-02 22:20:44
阅读次数：
377
一、同步容器类
1. 同步容器类的问题
线程容器类都是线程安全的，但是当在其上进行符合操作则需要而外加锁保护其安全性。
常见符合操作包含：
. 迭代
. 跳转(根据指定顺序找到当前元素的下一个元素)
. 条件运算
迭代问题可以查看之前的文章
《Java ConcurrentModificationException 异常分析与解决方案》
二、并...
分类：
编程语言 时间：
2014-05-25 11:09:47
阅读次数：
331
老是报物理内存越界，kill
container，然后把yarn.scheduler.minimum-allocation-mb设成2048就好了跟这个yarn.nodemanager.pmem-check-enabled参数应该也有关系在这篇文章中得到启发：http://bise.aliapp.c...
分类：
其他好文 时间：
2014-05-07 02:15:35
阅读次数：
409
错误原因：在使用迭代器过程中对迭代对象进行操作导致。示例代码： 1 Map map=new
HashMap(); 2 map.put("a", "aa"); 3 map.put("b", "bb"); 4 map.put("c", "cc"); 5
...
分类：
编程语言 时间：
2014-05-07 00:37:09
阅读次数：
354
