码迷,mamicode.com
首页 > 其他好文 > 详细

Hive 组内计无重复数,追加每条记录后面

时间:2017-04-01 15:01:28      阅读:156      评论:0      收藏:0      [点我收藏+]

标签:test   blog   实现   数据   rom   今天   去重   div   mysq   

今天无意中碰到一个很简单的计算逻辑,但是用hive想了一大会才实现。

示例表数据:

技术分享

需求逻辑:

给每条记录追加一个字段,用于统计按照p1和p2字段分组后,每个组中的num的数目(去重后的count)。

示例结果:

技术分享

Mysql 超级简单的一句:

select
     id,
     num,
     p1,
     p2,
     count(distinct num) over (PARTITION by p1,p2) as f
from test_z;

Hive里

会报distinct有问题,去掉的话,明显与要求逻辑不符合啊。

想了一会还是用 dense_rank 和 join 实现了。以后再发掘其他的简单方法吧:

select 
        b.id,
        b.num,
        b.p1,
        b.p2,
        a.f
from
(
    select
           p1,
           p2,
           max(f) as f
    from
   ( 
      select
            id,
            num,
            p1,
            p2,
            dense_rank() over  (PARTITION by p1, p2 order by num) as f
       from test_z
    )a1
    group by p1,p2
 )a
 join  test_z b
      on a.p1=b.p1 and a.p2=b.p2;

上面的a表太复杂,还可以用简单的group by 和 count(distinct)把a表逻辑换了。

    select
           p1,
           p2,
           count(distinct num) as f
    from test_z
    group by p1,p2

Hive 组内计无重复数,追加每条记录后面

标签:test   blog   实现   数据   rom   今天   去重   div   mysq   

原文地址:http://www.cnblogs.com/skyEva/p/6655946.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!