一、词频统计： #1.读文本文件生成RDD lines #2.将一行一行的文本分割成单词 words flatmap() #3.全部转换为小写 lower() #4.去掉长度小于3的单词 filter() #5.去掉停用词 #6.转换成键值对 map() 7.统计词频 reduceByKey() 二 ...
分类：
其他好文 时间：
2021-04-07 10:49:31
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 10:40:25
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
前两天看了一个视频，介绍了 TIA Selection Tool做了选型之后，可以导入到TIA 中，避免重复组态，西门子打通了哥哥软件之间的关联。现学现用我也做了练习，现在把过程记录下来。 1.首先确认TIA里面安装了OPENNESS组件，没有安装的话，重新运行TIA的setup把这个组件勾选上，这 ...
分类：
其他好文 时间：
2021-04-05 12:46:32
阅读次数：
0
现在，你已经学会了修改文件，然后把修改提交到Git版本库，现在，再练习一次，修改readme.txt文件如下： Git is a distributed version control system. Git is free software distributed under the GPL. 然 ...
分类：
其他好文 时间：
2021-04-05 12:32:31
阅读次数：
0
基础习题 习题1 请用代码验证'name'是否在字典的键中 info = {'name': '王刚蛋', 'hobby': '铁锤', 'age': '18'} info = {'name': '王刚蛋', 'hobby': '铁锤', 'age': '18'} if info.get('name' ...
分类：
编程语言 时间：
2021-04-05 12:13:50
阅读次数：
0
题目链接：https://www.nowcoder.com/practice/8c949ea5f36f422594b306a2300315da?tpId=37&tqId=21224&rp=1&ru=%2Fta%2Fhuawei&qru=%2Fta%2Fhuawei%2Fquestion-rankin ...
分类：
编程语言 时间：
2021-04-01 13:24:31
阅读次数：
0
我们想要发起 get 或者 post 请求，我们需要有接口地址和必要的参数； 我们可以在 聚合数据网站找到免费的接口地址，让我们来练习：https://www.juhe.cn/ 注册实名认证一下就可以用了 老黄历接口可以发起get和post请求 1、发起 get 请求 第一步：右击“测试计划”添加“ ...
分类：
其他好文 时间：
2021-04-01 13:15:44
阅读次数：
0
