1 概述
Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
在部署和运行Spark Application的过程中，如果不注意一些小的细节，也许会导致一些问题的出现。
2 防火墙
部署好Spark...
分类：
其他好文 时间：
2014-08-04 14:23:27
阅读次数：
297
yarn.resourcemanager.hostname hadoop100 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop100 yarn.nodemanage...
分类：
其他好文 时间：
2014-08-04 13:58:07
阅读次数：
202
YARN基本构成Master/Slave组成，1个ResourceManager对应多个NodeManager；YARN由Client、ResourceManager、NodeManager、ApplicationMaster组成；Client向ResourceManager提交任务、杀死任务等；A...
分类：
其他好文 时间：
2014-08-02 17:50:53
阅读次数：
311
大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：（1）ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clouder...
分类：
其他好文 时间：
2014-07-19 00:28:52
阅读次数：
426
一、概述本文将介绍ResourceManager在Yarn中的功能作用，从更细的粒度分析RM内部组成的各个组件功能和他们相互的交互方式。二、ResourceManager的交互协议与基本职能1、ResourceManager交互协议在整个Yarn框架中主要涉及到7个协议，分别是ApplicationClientProtocol、MRClientP..
分类：
其他好文 时间：
2014-07-15 12:18:57
阅读次数：
1022
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.rm-ids ...
分类：
其他好文 时间：
2014-07-14 19:48:02
阅读次数：
359
今天收到线上的resourcemanager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类：
其他好文 时间：
2014-07-09 08:21:41
阅读次数：
436
首先client向ResourceManager提交程序（包含ApplicationMaster程序，ApplicationMaster启动命令，用户程序）后，ResourceManager向资源调度器去申请资源，一旦申请的ApplicationMaster需要的资源，ApplicationMasterLaucher便与对应的NodeManager联系启动ApplicationMaster，同时向...
分类：
移动开发 时间：
2014-06-27 10:46:44
阅读次数：
434
最进要写一个多线程加载资源的资源管理器(ResourceManager)和多线程音频解码器(MultiThread
Decoder)。因为距最近一次用到多线程放下好久了，所以今天把生产者消费者问题练一下手。
为什么选择生产者消费者问题，因为他比较接近资源管理器和多线程音频解码器的原型。 比如...
分类：
编程语言 时间：
2014-06-10 11:45:52
阅读次数：
367
