总结一:
关于内存的配置总共有以下几个方面:
以下的示例数据为gdc中的配置
(1)每个节点可用于container的内存与虚拟内存
NM的内存资源配置,主要是通过下面两个参数进行的(这两个值是Yarn平台特性,应在yarn-sit.xml中配置) :
yarn.nodemanager.resource.memory-mb 94208
yarn.nodemanager.vmem-...
分类:
其他好文 时间:
2015-06-16 19:24:28
阅读次数:
369
理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。
一、相关配置情况
关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念,现在可以先把它理解为运行map/re...
分类:
其他好文 时间:
2015-05-04 11:57:50
阅读次数:
184