hive sql 优化

标签：interval   --   出现   pre   优化   groupby   reduce   hive   sql 优化   

常规的：

1、过早的过滤字段、只选用需要的列、要加分区

2、join 小表放左边

set hive.exec.reducers.max=200;

set mapred.reduce.tasks= 200;---增大Reduce个数

set hive.groupby.mapaggr.checkinterval=100000 ;

set hive.groupby.skewindata=true; --如果是group by过程出现倾斜 应该设置为true

set hive.skewjoin.key=100000; --这个是join的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.optimize.skewjoin=true;--如果是join 过程出现倾斜 应该设置为true
参考：https://blog.csdn.net/weixin_41876523/article/details/84069013

hive sql 优化

标签：interval   --   出现   pre   优化   groupby   reduce   hive   sql 优化   

原文地址：https://www.cnblogs.com/breece/p/13176544.html