码迷,mamicode.com
首页 > 其他好文 > 详细

KeyValue对RDDs

时间:2018-11-25 20:00:57      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:9.png   png   info   line   创建   一个   rdd   技术   操作   

创建KeyValue对RDDs

使用函数map,返回keyvalue对
例如,包含数行数据的RDD,那每行的第一个单词作为keys。
sparl.txt中的内容如下:
hello !
hello world
hello spark

val rdd = sc.textFile("spark.txt")
val rdd2 = rdd.map(line=>(line.split(" ")(0),line))

常见的操作:
技术分享图片
技术分享图片

KeyValue对RDDs

标签:9.png   png   info   line   创建   一个   rdd   技术   操作   

原文地址:https://www.cnblogs.com/twodoge/p/10016144.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!