hive count distinct

标签：hive   sqlserver   

select count(distinct user_id) from dm_user where ds=20150701;

使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重

优化后为

set mapred.reduce.tasks=50;

select count(*) from

(select user_id from dm_user where ds=20150701 group by user_id)t;

order by全局排序，只有一个reduce

sort by 在一个reduce中排序，distribute by 按字段分为不同的reduce    

distribute by 先分为不同的reduce排序，之后在reduce内部排序

hive count distinct

标签：hive   sqlserver   

原文地址：http://blog.csdn.net/xuhualei88/article/details/47102155