码迷,mamicode.com
首页 > 其他好文 > 详细

Spark完成wordCount

时间:2020-03-08 13:44:44      阅读:65      评论:0      收藏:0      [点我收藏+]

标签:home   上下   imp   png   oca   name   count   master   info   

Spark官方自带了WordCount的样例,我们也可以自己实现,加深对Spark的理解。

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

def main(args: Array[String]): Unit = {
System.setProperty("hadoop.home.dir", "D:/winutils/")

// 创建Spark配置,运行环境
val sparkConf = new SparkConf()
sparkConf.setAppName("WordCount")
sparkConf.setMaster("local")
// 创建Spark上下文对象
val sparkContext = new SparkContext(sparkConf)
// 从文件逐行读取到rdd
val rdd = sparkContext.textFile("input/WordCountInput")
// 将每一行内容分解为一个一个的单词
val words = rdd.flatMap(line => line.split(","))
// 转换数据结果并进行统计
val count = words.map(word => (word, 1)).reduceByKey(_+_)

count.foreach(println(_))
}

}

  每一步中Spark的操作如下:

技术图片

 

Spark完成wordCount

标签:home   上下   imp   png   oca   name   count   master   info   

原文地址:https://www.cnblogs.com/zhangjwcode/p/12420639.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!