码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop- MapReduce在实际应用中常见的调优

时间:2017-10-16 12:23:57      阅读:131      评论:0      收藏:0      [点我收藏+]

标签:设置   ati   ase   任务   ado   style   code   实际应用   col   

1、Reduce Task Number

在配置文件上设置reduce任务个数,默认为1。或者是在reduce任务过程中设置  job.setNumReduceTasks(2); 或者在代码config中配置

Configuration configuration = new Configuration();
configuration.set("mapreduce.job.reduces","2");//这个数字根据实际测试和调试来决定

 

2、Map Task 输出压缩

默认一个块对应一个map任务进行,

3、shuffle phase 参数

 

Hadoop- MapReduce在实际应用中常见的调优

标签:设置   ati   ase   任务   ado   style   code   实际应用   col   

原文地址:http://www.cnblogs.com/RzCong/p/7676169.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!