一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-08 13:42:37
阅读次数：
0
sql报错注入 1.报错函数 (1).floor()报错 语句： ?id=1' union select 1,count(),concat(payload,floor(rand(0)2))x from information_schema.columns group by x --+ (2).upd ...
分类：
数据库 时间：
2021-04-08 13:32:03
阅读次数：
0
Redis 中 BitMap 的使用场景 BitMap BitMap 原本的含义是用一个比特位来映射某个元素的状态。由于一个比特位只能表示 0 和 1 两种状态，所以 BitMap 能映射的状态有限，但是使用比特位的优势是能大量的节省内存空间。 在 Redis 中，可以把 Bitmaps 想象成一个 ...
分类：
其他好文 时间：
2021-04-08 13:08:56
阅读次数：
0
什么时候声明的序列化器需要继承序列化器基类Serializer，什么时候继承模型序列化器类ModelSerializer？ 继承序列化器类Serializer 字段声明 验证 添加/保存数据功能继承模型序列化器类ModelSerializer 字段声明[可选,看需要] Meta声明 验证 添加/保存 ...
分类：
其他好文 时间：
2021-04-07 11:45:18
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 11:00:42
阅读次数：
0
一、词频统计： #1.读文本文件生成RDD lines #2.将一行一行的文本分割成单词 words flatmap() #3.全部转换为小写 lower() #4.去掉长度小于3的单词 filter() #5.去掉停用词 #6.转换成键值对 map() 7.统计词频 reduceByKey() 二 ...
分类：
其他好文 时间：
2021-04-07 10:49:31
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 10:40:25
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
