码迷,mamicode.com
首页 > 其他好文 > 详细

05 RDD编程

时间:2021-04-23 12:06:34      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:lazy   统计   bsp   生成   atm   成绩   list   red   lin   

一、词频统计:

  1. 读文本文件生成RDD lines

技术图片

  1. 将一行一行的文本分割成单词 words flatmap()

技术图片

  1. 全部转换为小写 lower()

技术图片

  1. 去掉长度小于3的单词 filter()

技术图片

  1. 去掉停用词

技术图片

  1. 转换成键值对 map()

技术图片

  1. 统计词频 reduceByKey()

技术图片

  1. 按字母顺序排序

技术图片

  1. 按词频排序

技术图片

 10、结果文件保存 saveAsTextFile(out_url)

技术图片

 

二、学生课程分数案例

  1. 总共有多少学生?map(), distinct(), count()

技术图片

  1. 开设了多少门课程?

技术图片

  1. 每个学生选修了多少门课?map(), countByKey()

技术图片

 

 技术图片

 

 技术图片

 

 技术图片

  1. 每门课程有多少个学生选?map(), countByValue()

技术图片

  1. Tom选修了几门课?每门课多少分?filter(), map() RDD

技术图片

  1. Tom选修了几门课?每门课多少分?map(),lookup() list

技术图片

  1. Tom的成绩按分数大小排序。filter(), map(), sortBy()

技术图片

  1. Tom的平均分。map(),lookup(),mean()

技术图片

05 RDD编程

标签:lazy   统计   bsp   生成   atm   成绩   list   red   lin   

原文地址:https://www.cnblogs.com/thebao/p/14691200.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!