标签：bsp 去重 nbsp shuff spark 使用 image 原理 red
distinct的底层使用reducebykey巧妙实现去重逻辑
//使用reduceByKey或者groupbykey的shuffle去重思想
rdd.map(key=>(key,null)).reduceByKey((key,value)=>key)
.map(_._1)
标签：bsp 去重 nbsp shuff spark 使用 image 原理 red
原文地址：https://www.cnblogs.com/hejunhong/p/12906280.html
