选择 reducer 的个数

时间：2015-02-01 19:15:39 阅读：324 评论：0 收藏：0 [点我收藏+]

标签：

默认情况下，一个 mapreduce job 只有一个 reducer ，真实应用中，作业都把它设置成一个较大的数字，否则由于所有的中间数据都会放到一个 reducer 任务中，造成性能瓶颈。

reducer 最优个数与集群中可用的 reducer 任务槽数相关。总槽数由集群中节点数与每个节点的任务数相乘得到。每个节点的任务槽数由 mapred.tasktracker.reduce.tasks.maximum 属性的值决定，默认为 2 。

常用的方法是设置的 reducer 数比总槽数稍微少一些，给 reducer 任务留点余地，容忍一些错误发生而不需要延长作业运行时间。

hadoop 文档中推荐的两个公式计算 reducer 任务数的公式：
0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
备注：NUMBER_OF_NODES 是集群中的计算节点个数

在代码中通过 JobConf. setNumReduceTasks(int numOfReduceTasks) 函数设置 reducer 的个数

选择 reducer 的个数

标签：

原文地址：http://my.oschina.net/zc741520/blog/374182

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行