码迷,mamicode.com
首页 > 其他好文 > 详细

Spark基础知识汇总

时间:2016-06-21 19:06:06      阅读:171      评论:0      收藏:0      [点我收藏+]

标签:

2,wordcount:

技术分享
val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(‘ ‘)).map((_, 1)).reduceByKey(_ + _).map(_.swap).sortByKey().collect

val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(‘ ‘)).map((_, 1)).reduceByKey(_ + _).map(_.swap).sortByKey().saveAsTextFile("/user/s-44/result.txt")
View Code

 

1,集合变成rdd

技术分享
val rdd = sc.parallelize(List(1, 2, 3, 4, 5))
View Code

 

Spark基础知识汇总

标签:

原文地址:http://www.cnblogs.com/yueyebigdata/p/5604667.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!