在使用union all的时候,系统资源足够的情况下,为了加快hive处理速度,可以设置如下参数实现并发执行
set mapred.job.priority=VERY_HIGH; set hive.exec.parallel=true;
设置map reduce个数
-- 设置map capacity set mapred.job.map.capacity=2000; set mapred.job.reduce.capacity=2000;
-- 设置每个reduce的大小 set hive.exec.reducers.bytes.per.reducer=500000000; -- 直接设置个数 set mapred.reduce.tasks = 15;
设置任务名称
-- 设置名称 set mapred.job.name=my_job_{DATE};
原文地址:http://www.cnblogs.com/cfox/p/3849407.html