码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce优化设置

时间:2016-07-07 12:31:04      阅读:153      评论:0      收藏:0      [点我收藏+]

标签:

Map阶段的优化

主要是确定合适的Map数。那么首先要了解Map数的计算公式:
num_Map_tasks = max[${Mapred.min.split.size}, min(${dfs.block.size}, ${Mapred.max.split.size})] 
    • Mapred.min.split.size指的是数据的最小分割单元大小。
    • Mapred.max.split.size指的是数据的最大分割单元大小。
    • dfs.block.size指的是HDFS设置的数据块大小。

Reduce阶段优化(实际的reduce计算)
     
        hive 中的reduce预估
         num_Reduce_tasks = min[${Hive.exec.Reducers.max}, (${input.size} / ${ Hive.exec.Reducers.bytes.per.Reducer})] 
 
reduce在运行时往往需要从相关map端复制数据到reduce节点来处理,因此相比于map任务。reduce节点资源是相对比较缺少的,同时相对运行较慢,正确的reduce任务的个数应该是0.95或者1.75 *(节点数 ×mapred.tasktracker.tasks.maximum参数值)。如果任务数是节点个数的0.95倍,那么所有的reduce任务能够在 map任务的输出传输结束后同时开始运行。如果任务数是节点个数的1.75倍,那么高速的节点会在完成他们第一批reduce任务计算之后开始计算第二批 reduce任务,这样的情况更有利于负载均衡。同时需要注意增加reduce的数量虽然会增加系统的资源开销,但是可以改善负载匀衡,降低任务失败带来的负面影响。同样,Reduce任务也能够与 map任务一样,通过设定JobConf 的conf.setNumReduceTasks(int num)方法来增加任务个数。
 

jvm重用

 
     正常情况下,MapReduce启动的JVM在完成一个task之后就退出了,但是如果任务花费时间很短,又要多次启动JVM的情况下(比如对很         
        大数据量进行计数操作),JVM的启动时间就会变成一个比较大的overhead。在这种情况下,可以使用jvm重用的参数:
               Mapred.Job.reuse.jvm.num.tasks

MapReduce优化设置

标签:

原文地址:http://www.cnblogs.com/hankedang/p/5649505.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!