码迷,mamicode.com
首页 > 其他好文 > 详细

scala中分组的算子的用法

时间:2019-12-10 19:45:36      阅读:110      评论:0      收藏:0      [点我收藏+]

标签:rdd   iterable   inf   int   key   class   除了   print   算子   

val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2)))
//1.根据传入的参数进行分组
val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupBy(_._1)
println(rdd1.collect.toBuffer)
//2.根据key进行分区(对KV形式是使用) -->除了指定分组之后分区的数量之外, 还可以使用自定义分区器
val rdd2: RDD[(String, Iterable[Int])] = rdd.groupByKey()
println(rdd2.collect.toBuffer)

  技术图片

 

 

scala中分组的算子的用法

标签:rdd   iterable   inf   int   key   class   除了   print   算子   

原文地址:https://www.cnblogs.com/liangyan131/p/12018701.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!