标签:load count bsp mic 课程 image 大于 taf 通过率
读学生课程分数文件chapter4-data01.txt,创建DataFrame。
一、用DataFrame的操作完成以下数据分析要求
二、用SQL语句完成以上数据分析要求
三、对比分别用RDD操作实现、用DataFrame操作实现和用SQL语句实现的异同。(比较两个以上问题)
1.每个分数+5分.
rdd:
rdd = sc.textFile(url).map(lambda s : s.split(‘,‘)).map(lambda s : int(s[2])+5).collect()
DataFrame:
stu.select(‘grade‘,stu.grade+5).show()
SQL:
2.每门课程大于95分的学生人数?
rdd:
DataFrame:
stu.select(stu.grade > 95).count()
SQL:
stu.createOrReplaceTempView("students")
spark.sql("select * from students where grade > 95").show()
标签:load count bsp mic 课程 image 大于 taf 通过率
原文地址:https://www.cnblogs.com/qq502414581/p/14815475.html