hive 优化

标签：

set hive.exec.reducers.bytes.per.reducer=2000000000; ##每个reduce任务处理的数据量，默认为1000^3=1G
set hive.groupby.skewindata = true ##对于join和Group操作都可能会出现数据倾斜
set hive.optimize.skewjoin=true;--如果是join 过程出现倾斜 应该设置为true

set mapreduce.map.memory.mb=1025;

set mapreduce.reduce.memory.mb=1025; 

hive 优化

标签：

原文地址：http://my.oschina.net/u/1388024/blog/386824