一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactI ...
分类：
其他好文 时间：
2020-06-27 00:14:44
阅读次数：
62
1. 实验环境配置 安装IDE ：VS Code；安装Python，安装 jieba，hanLP等NLP工具。 简单的程序练习，不需要特别熟练，能在指导下完成操作即可。 做最简单中文分词程序测试环境。 2. 文本可视化：词云、关系图、热力图等 制作词云，进一步了解分词和词频。 https://blo ...
分类：
其他好文 时间：
2020-06-27 00:10:11
阅读次数：
88
需求：一篇文章，出现了哪些词？哪些词出现得最多？ 英文文本词频统计 英文文本：Hamlet 分析词频 统计英文词频分为两步： 文本去噪及归一化 使用字典表达词频 代码： #CalHamletV1.py def getText(): txt = open("hamlet.txt", "r").read ...
分类：
编程语言 时间：
2020-06-22 13:22:11
阅读次数：
66
test_1 某随机序列 [1,2,3,4,12,123,44,2,342,123,4,66,35,.....]中，找到出现次数最高的3个元素，他们出现的次数分别是多少？ 方法1 from random import randint data = [randint(1, 20) for _ in r ...
分类：
其他好文 时间：
2020-06-22 13:07:42
阅读次数：
47
KafkaStream概念及初识高层架构图KafkaStream是ApacheKafka从0.10版本引入的一个新Feature，它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之，KafkaStream就是一个用来做流计算的类库，与Storm、SparkStreaming、Flink的作用类似，但要轻量得多。KafkaStream的基本概念：KafkaStream是处理分析存储
Counter中文意思是计数器，也就是我们常用于统计的一种数据类型，在使用Counter之后可以让我们的代码更加简单易读。 我们先看一个简单的例子： #统计词频 colors = ['red', 'blue', 'red', 'green', 'blue', 'blue'] result = {} ...
分类：
其他好文 时间：
2020-05-13 20:31:16
阅读次数：
107
序列去重, 切片, 词频统计, 序列过滤, 三元表达式, 列表推导式, 生成器等. ...
分类：
编程语言 时间：
2020-05-13 00:35:16
阅读次数：
70
Elasticsearch打分机制 # es:重要的就是查询，全文检索 # 打分机制的公式：TF-IDF - 一个词条在某篇文档中出现的次数越多，该文档就越相关，分越高，`TF`是词频（term frequency） - 一个词条如果在不同的文档中出现的次数越多，它就越不相关，分越低，`IDF`是逆 ...
分类：
其他好文 时间：
2020-05-12 09:55:07
阅读次数：
57
import re # 月亮与六便士共7313词 # 傲慢与偏见加上面这本书共这么多词10781 s="I'm a father." with open("EnglishNovels/pride.txt", "r", encoding='utf8') as f: pattern=re.compile ...
分类：
编程语言 时间：
2020-05-02 19:03:37
阅读次数：
115
代码来源 1 #include<iostream> 2 #include <map> 3 #include <iomanip> 4 #include <string> 5 #include <cstring> 6 using namespace std; 7 map<string, bool>m[1 ...
分类：
其他好文 时间：
2020-04-28 20:10:39
阅读次数：
126
