一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 10:40:25
阅读次数：
0
安装 xsel (已经安装了，可以不安装了) apt-get install xsel 查看 xsel 版本 xsel --version # 我安装完的输出 # xsel version 1.2.0 by Conrad Parker <conrad@vergenet.net> 如果你也能输出版本信 ...
分类：
系统相关 时间：
2021-04-07 10:38:57
阅读次数：
0
1、一类事物有多种形态，比如：动物有多种形态：人、猪、狗，文件有多种形态：文本文件，可执行文件2、不同的对象（形态）接收同一个方法，产生不同的响应 import abc class Animal(metaclass=abc.ABCMeta): # 同一类事物:动物 @abc.abstractmeth ...
分类：
其他好文 时间：
2021-04-07 10:37:08
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
1. 文字的居中 对于标准的markdown文本，是不支持居中对齐的。还好markdown支持html语言，所以我们采用html语法格式即可。 <center>这一行需要居中</center> 下面就是排版后的结果 这一行需要居中 2.文字的字体及颜色 2.1 字体更换 同样我们也需要遵照其标准的语 ...
分类：
其他好文 时间：
2021-04-06 15:17:53
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
当文本框可以输入多个值时，后台需要根据多个值进行查询可以使用in语句，前台进行拼接格式 #region 按周交货标志 string delivy_week_code = this.delivy_week.EditValue.ToString().Trim(); if (delivy_week_cod ...
分类：
其他好文 时间：
2021-04-06 15:11:31
阅读次数：
0
json文件处理： 什么是json： JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 ...
分类：
Web程序 时间：
2021-04-06 15:09:53
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
