MapReduce优化设置

标签：

Map阶段的优化

主要是确定合适的Map数。那么首先要了解Map数的计算公式：

num_Map_tasks = max[${Mapred.min.split.size}， min(${dfs.block.size}， ${Mapred.max.split.size})] 

reduce在运行时往往需要从相关map端复制数据到reduce节点来处理，因此相比于map任务。reduce节点资源是相对比较缺少的，同时相对运行较慢，正确的reduce任务的个数应该是0.95或者1.75 *（节点数 ×mapred.tasktracker.tasks.maximum参数值）。如果任务数是节点个数的0.95倍，那么所有的reduce任务能够在 map任务的输出传输结束后同时开始运行。如果任务数是节点个数的1.75倍，那么高速的节点会在完成他们第一批reduce任务计算之后开始计算第二批 reduce任务，这样的情况更有利于负载均衡。同时需要注意增加reduce的数量虽然会增加系统的资源开销，但是可以改善负载匀衡，降低任务失败带来的负面影响。同样，Reduce任务也能够与 map任务一样，通过设定JobConf 的conf.setNumReduceTasks(int num)方法来增加任务个数。

 

jvm重用

MapReduce优化设置

标签：

原文地址：http://www.cnblogs.com/hankedang/p/5649505.html