码迷,mamicode.com
首页 > 其他好文 > 详细

[bigdata] ResouceManager参数配置解析

时间:2015-12-17 00:33:10      阅读:347      评论:0      收藏:0      [点我收藏+]

标签:

 

 ResourceManager相关配置参数

yarn-site.xml 中配置
yarn.resourcemanager.address

ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。

默认值:${yarn.resourcemanager.hostname}:8032

yarn.resourcemanager.scheduler.address

ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。

默认值:${yarn.resourcemanager.hostname}:8030

yarn.resourcemanager.resource-tracker.address

ResourceManager 对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳,领取任务等。

默认值:${yarn.resourcemanager.hostname}:8031

yarn.resourcemanager.admin.address

ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。

默认值:${yarn.resourcemanager.hostname}:8033

yarn.resourcemanager.webapp.address

ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息。

默认值:${yarn.resourcemanager.hostname}:8088

yarn.resourcemanager.scheduler.class

启用的资源调度器主类。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。

默认值:org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

yarn.resourcemanager.resource-tracker.client.thread-count

处理来自NodeManagerRPC请求的Handler数目

默认值:50

yarn.resourcemanager.scheduler.client.thread-count

处理来自ApplicationMasterRPC请求的Handler数目

默认值:50

yarn.scheduler.minimum-allocation-mb

yarn.scheduler.maximum-allocation-mb

单个可申请的最小/最大内存资源量。比如设置为1024和3072,则运行MapRedce作业时,每个Task最少可申请1024MB内存,最多可申请3072MB内存。

默认值:1024/8192

yarn.scheduler.minimum-allocation-vcores 

yarn.scheduler.maximum-allocation-vcores

单个可申请的最小/最大虚拟CPU个数。比如设置为1和4,则运行MapRedce作业时,每个Task最少可申请1个虚拟CPU,最多可申请4个虚拟CPU。

默认值:1/32

yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path NodeManager黑白名单。如果发现若干个NodeManager存在问题,比如故障率很高,任务运行失败率高,则可以将之加入黑名单中。注意,这两个配置参数可以动态生效。(调用一个refresh命令即可)
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

NodeManager心跳间隔

默认值:1000(毫秒)

   
   
   
   
   
   
   
   
   
   

[bigdata] ResouceManager参数配置解析

标签:

原文地址:http://www.cnblogs.com/spec-dog/p/5052725.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!