码迷,mamicode.com
首页 > 其他好文 > 详细

关于Mapreduce On Yarn中Map数量的设置

时间:2015-10-12 17:35:04      阅读:233      评论:0      收藏:0      [点我收藏+]

标签:

同事最近对MR on Yarn中Map数量的一个小的研究,描述如下:

    在新版MapReduce 中即 MR on yarn中,不支持设置Map数量。

    Map的数量是由MinInputSplitSize决定的,公式:

    Map的数量 = TotalSize / MinInputSplitSize

    要想控制Map的数量,可以通过控制MinInputSplitSize大小来控制Map数量。

        如果设置的MinInputSplitSize大于BlockSize,MinInputSplitSize即为设置的值; 反之设置的MinInputSplitSize小于BlockSize,MinInputSplitSize的值会置为BlockSize

        如果保持默认设置的话,MinInputSplitSize则为BlockSize

关于Mapreduce On Yarn中Map数量的设置

标签:

原文地址:http://my.oschina.net/shipley/blog/515909

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!