MARKDOWN 标题 三级级标题 四级标题 字体 hello word! //粗体两个星号 hello word! //斜体一个星号 hello word! //斜体加粗体三个星号 hello word! //两个波浪线 引用 大于号+空格 引用 分割线 三个减号或者三个星号 图片 超链接 超链接 ...
分类:
其他好文 时间:
2021-04-09 13:06:07
阅读次数:
0
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类:
其他好文 时间:
2021-04-08 13:42:37
阅读次数:
0
Markdown学习 标题 三级标题 四级标题 字体 Hello word! Hello word! *Hello word! Hello word! Hello word! 引用 淳无敌 分割线 图片 超链接 点击童无敌 列表 A c d a b c 表格 代码 java ...
分类:
其他好文 时间:
2021-04-07 11:43:53
阅读次数:
0
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类:
其他好文 时间:
2021-04-07 11:00:42
阅读次数:
0
一、词频统计: #1.读文本文件生成RDD lines #2.将一行一行的文本分割成单词 words flatmap() #3.全部转换为小写 lower() #4.去掉长度小于3的单词 filter() #5.去掉停用词 #6.转换成键值对 map() 7.统计词频 reduceByKey() 二 ...
分类:
其他好文 时间:
2021-04-07 10:49:31
阅读次数:
0
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类:
其他好文 时间:
2021-04-07 10:40:25
阅读次数:
0
一、词频统计: 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类:
其他好文 时间:
2021-04-06 15:20:05
阅读次数:
0
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类:
其他好文 时间:
2021-04-06 15:15:03
阅读次数:
0
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类:
其他好文 时间:
2021-04-06 15:08:22
阅读次数:
0
Markdown学习 标题用#号 字体 helloWord一个“*”斜体 helloWord两个“*”加粗 helloWord三个“*”斜体加粗 helloWord两个“~”删除号 引用 今天不学习,明天变垃圾 一个大于符号“>” 分割线 三个杠“-”减号 三个星号“***” 图片 图片:感叹号加方 ...
分类:
其他好文 时间:
2021-04-06 15:06:12
阅读次数:
0