码迷,mamicode.com
首页 > 其他好文 > 详细

Hive一些参数设置

时间:2014-07-19 21:37:25      阅读:264      评论:0      收藏:0      [点我收藏+]

标签:style   blog   color   使用   io   re   

在使用union all的时候,系统资源足够的情况下,为了加快hive处理速度,可以设置如下参数实现并发执行

set mapred.job.priority=VERY_HIGH;
set hive.exec.parallel=true;

 设置map reduce个数

-- 设置map capacity
set mapred.job.map.capacity=2000;
set mapred.job.reduce.capacity=2000;
-- 设置每个reduce的大小 set hive.exec.reducers.bytes.per.reducer=500000000; -- 直接设置个数 set mapred.reduce.tasks = 15;

 设置任务名称

-- 设置名称
set mapred.job.name=my_job_{DATE};

Hive一些参数设置,布布扣,bubuko.com

Hive一些参数设置

标签:style   blog   color   使用   io   re   

原文地址:http://www.cnblogs.com/cfox/p/3849407.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!