reduceByKey、groupByKey rdd=sc. parallelize([("one",1),("two",1),("one",1),("one1",1)]) rdd. reduceByKey(lambda x,y:x). count() rdd1=sc. parallelize([( ...
分类:
其他好文 时间:
2021-04-29 12:20:10
阅读次数:
0
原文作者:翟开顺首发:CSDN本人仅为自己方便查阅做了摘抄,请支持原作者原文地址:https://blog.csdn.net/t1dmzks/article/details/72077428github: https://github.com/zhaikaishun/spark_tutorial/t... ...
分类:
其他好文 时间:
2019-10-01 13:35:26
阅读次数:
125
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-19.
* 根据key对K-V类型的RDD进行排序获得新的RDD
*/
object SortByKey {
def main(args: Array[String]) {...
分类:
其他好文 时间:
2015-01-20 23:59:25
阅读次数:
500