标签：说明 文件中 set local textfile als 还需要 学生 逻辑
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object exercise{
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("RemDup")
val sc = new SparkContext(conf)
val dataFile1 = "file:///usr/local/spark/mycode/exercise42/text1.txt,file:///usr/local/spark/mycode/exercise42/text2.txt"
val data = sc.textFile(dataFile1,2)
val da = data.distinct()
da.foreach(println)
}
}
3.编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生 名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到 一个新文件中。下面是输入文件和输出文件的一个样例，供参考
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object wordcount{
def main(args:Array[String]){
val inputfile="file:///usr/local/spark/mycode/exercise43/data.txt"
val conf=new SparkConf().setAppName("WordCount").setMaster("local[2]")
val sc=new SparkContext(conf)
val textFile=sc.textFile(inputfile)
val wordCount=textFile.map(line=>(line.split(" ")(0),line.split(" ")(1).toInt)).mapValues(x=>(x,1)).reduceByKey((x,y)=>(x._1+y._1,x._2+y._2)).mapValues(x=>(x._1/x._2)).collect().foreach(println)
}
}
标签：说明 文件中 set local textfile als 还需要 学生 逻辑
原文地址：https://www.cnblogs.com/zhang12345/p/12264520.html
