一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
题目链接 题意：求无向图最小环(n<=8000,m<=4000) 动态把边加进去跑Dij，在加入一条边(u,v,c)之前，先求出mindis(u,v)，更新答案ans=min(ans,mindis(u,v)+c)，复杂度$O(m^2logn)$ 1 #include<bits/stdc++.h> 2 ...
分类：
其他好文 时间：
2021-04-06 14:28:01
阅读次数：
0
题目链接 #题目大意 求树上每个点到其他点的最大距离。 #解题思路 首先随便选择一个顶点作为根然后跑一遍dfs，记录每个顶点以其为根能到达的最大深度和次大深度，然后再跑一遍dfs，对于每个顶点，如果要到达一个距离最大的点，要么就是原来中的子树中的距离最大的点，要么就是经过父节点的某个点。 #代码 c ...
分类：
其他好文 时间：
2021-04-02 13:22:41
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-03-31 12:33:25
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 ...
分类：
其他好文 时间：
2021-03-31 12:22:01
阅读次数：
0
1、引入依赖 <dependency> <groupId>com.aspose.words</groupId> <artifactId>aspose-words-18.8-jdk16-crack</artifactId> <version>18.8</version> </dependency> 2 ...
分类：
Web程序 时间：
2021-03-31 12:09:50
阅读次数：
0
