1 分组求TopN 一、先看数据： 使用HiveSQL常用的方式为： Select * from table, row_number() over(partition by item order by score desc) rank where rank<=2; 二、输出结果为： 三、解析：row ...
分类：
数据库 时间：
2021-06-13 10:48:09
阅读次数：
0
1 需求描述 统计硅谷影音视频网站的常规指标，各种 TopN 指标： -- 统计视频观看数 Top10 -- 统计视频类别热度 Top10 -- 统计出视频观看数最高的 20 个视频的所属类别以及类别包含 Top20 视频的个数 -- 统计视频观看数 Top50 所关联视频的所属类别排序 -- 统计 ...
分类：
其他好文 时间：
2021-06-13 10:04:44
阅读次数：
0
TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源； 基于 EventTime 处理，如何指定 Watermark； Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口； State状态的使用； P ...
分类：
其他好文 时间：
2021-03-12 13:00:59
阅读次数：
0
为了统计每个窗口下最热门的商品，我们需要再次按窗口进行分组，这里根据ItemViewCount中的windowEnd进行keyBy()操作。然后使用ProcessFunction实现一个自定义的TopN函数TopNHotItems来计算点击量排名前3名的商品，并将排名结果格式化成字符串，便于后续输出 ...
分类：
其他好文 时间：
2020-07-09 22:16:52
阅读次数：
165
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
比如，一年中污染最严重三天的 PM2.5 涨幅，了解这个涨幅，就能观察出严重污染是突然出现的，还是逐渐积累起来的。用 SQL 语句找出污染最严重的三天，不算难： select top 3 * from T order by pm25 desc 但后面的步骤比较麻烦，要找到这三天的前一天，还要和前一天 ...
分类：
其他好文 时间：
2020-06-24 17:45:12
阅读次数：
48
第10章 Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标，各种TopN指标： 统计视频观看数Top10 统计视频类别热度Top10 统计出视频观看数最高的20个视频的所属视频类别以及对应视频类别的个数 统计视频观看数Top50所关联视频的所属类别Rank 统计每个类别中的 ...
分类：
其他好文 时间：
2020-05-30 20:22:47
阅读次数：
68
（1）利用TreeSet排序,该方式利用小顶堆和集合重复原理的方式 , 每过来一个数据 , 跟堆顶数据进行比较 , 如果比最小的大 , 则将过来的数据替换堆顶元素 , 否则直接跳过数据 . 以此对数据进行排序 . import java.io.File; import java.io.IOExcep ...
分类：
其他好文 时间：
2020-05-16 16:50:58
阅读次数：
50
统计类：读取数据、做简单包装转换map、filter、按某个字段分组，开窗，做聚合 排序| TopN：再做一个ProcessFunction，把所有数据都收集到排序输出；以上是基于DataStreamAPI，也可以用高级API、TableAPI和FlinkSQL业务流程中的状态做检测输出和警告：自定 ...
分类：
其他好文 时间：
2020-04-14 22:34:20
阅读次数：
69
topN功能是一个非常常见的功能，比如查看最近几分钟的阅读最高数，购买最高数。 flink实现topN的功能也非常方便，下面就开始构建一个flink topN的程序。 还是像上篇博客一样，从kafka读取数据，然后进行计算和数据转换，最后sink到mysql中。 假设有个需求，实现一个统计每5分钟最 ...
分类：
其他好文 时间：
2019-12-15 12:39:52
阅读次数：
136
