搜索关键字：条件性聚合，搜索到1个结果！码迷,mamicode.com！

spark通过combineByKey算子实现条件性聚合的方法

实际开发过程中遇到了需要实现选择性聚合的场景，即对于某一个key对应的数据，满足条件的记录进行聚合，不满足条件的则不聚合。使用spark处理这种计算场景时，想到了使用combineByKey算子，先将输入数据中的value映射成含一个元素的ArrayBuffer（scala中相当于java中的ArrayList），然后在聚合时对满足聚合条件的记录聚合后覆盖这一个ArrayBuffer，不满足条件的

分类：其他好文时间：2018-05-26 17:57:56 阅读次数：211

共1条

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)