码迷,mamicode.com
首页 > 其他好文 > 详细

Spark IMF传奇行动第17课Transformations实战总结

时间:2016-01-23 07:48:38      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:

今晚听了王家林老师的Spark IMF传奇行动第17课Transformations实战,作业是用SCALA写cogroup:

def main(args: Array[String]): Unit = {
    val sc = sparkContext("Transformations")

    cogroupTrans(sc)

    sc.stop() 
}
def cogroupTrans(sc:SparkContext): Unit ={
    val stuNames = Array(
      Tuple2(1,"Spark"),
      Tuple2(2,"Tecc"),
      Tuple2(3,"Hadoop")
    )
    val stuScores = Array(
      Tuple2(1,100),
      Tuple2(1,99),
      Tuple2(2,95),
      Tuple2(3,65)
    )
    val names = sc.parallelize(stuNames)
    val scores = sc.parallelize(stuScores)
    val stuNameAndScore = names.cogroup(scores)
    stuNameAndScore.collect().foreach(println)
}

后续课程可以参照新浪微博 王家林_DT大数据梦工厂:http://weibo.com/ilovepains

王家林  中国Spark第一人,微信公共号DT_Spark

 

转发请写明出处。

Spark IMF传奇行动第17课Transformations实战总结

标签:

原文地址:http://www.cnblogs.com/haitianS/p/5152725.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!