与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选... ...
分类：
其他好文 时间：
2021-04-07 10:30:18
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
PEP的全称是 ，其中Enhancement是增强改进的意思，Proposals则可译为提案或建议书，所以合起来，比较常见的翻译是 或`Python改进建议书`。 我个人倾向于前一个翻译，因为它更贴切。Python核心开发者主要通过邮件列表讨论问题、提议、计划等，PEP通常是汇总了多方信息，经过了部 ...
分类：
编程语言 时间：
2021-04-06 15:10:54
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
redis简介(nosql) 安装win：https://github.com/microsoftarchive/redis/releases/tag/win-3.2.100 redis是一个高性能的键值对key-value数据库 特征： 数据间没有必然的关联关系 内部采用单线程机制进行工作 高性能 ...
分类：
其他好文 时间：
2021-04-06 15:05:17
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
通过修改系统环境变量： vim /etc/profile 添加 export PIPENV_DEFAULT_PYTHON_VERSION=3.7 export PIPENV_PYPI_MIRROR=https://pypi.tuna.tsinghua.edu.cn/simple 立即生效： sour ...
分类：
其他好文 时间：
2021-04-06 15:03:15
阅读次数：
0
中文分词：正向匹配最大算法 正向最大匹配法，对于输入的一段文本从左至右、以贪心的方式切出当前位置上长度最大的词。正向最大匹配法是基于词典的分词方，其分词原理是:单词的颗粒度越大，所能表示的含义越确切。该算法主要分两个步骤: 1、一般从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最 ...
分类：
编程语言 时间：
2021-04-06 14:48:22
阅读次数：
0
在测试过程当中，测试数据往往会与代码进行分离，进行独立存储。存储或获取测试数据的方式有很多，如excel文件中、txt文件中、yaml文件中、或者从数据库中读取。今天我们要说的就是怎样从yaml文件中获取数据。 一、认识python中的yaml库安装：安装包名是pyyaml导入：import yam ...
分类：
其他好文 时间：
2021-04-06 14:45:44
阅读次数：
0
