我们已经在CentOS7中安装了spark，本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类：
其他好文 时间：
2020-03-30 00:07:08
阅读次数：
103
Trie/前缀树/字典树 Trie (发音为 "try") 或前缀树是一种树数据结构，用于检索字符串数据集中的键。 一种树形结构，是一种哈希树的变种。 典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。 优点：利用字符串的公共前缀来减少查询时间， ...
分类：
其他好文 时间：
2020-03-29 01:29:15
阅读次数：
54
文本特征提取函数一：CountVectorizer() CountVectorizer()函数只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果。其思想是，先根据所有训练文本，不考虑其出现顺序，只将训练文本中每个出现过的词汇单独视为一列特征，构成一个词汇表(voca ...
分类：
其他好文 时间：
2020-03-25 19:30:46
阅读次数：
128
如何将统计word文档中的词频呢？先用docx模块将word文档转变成txt格式，然后使用jieba模块进行分词，并统计词频。是不是很简单～#2020年3月10日#ElizabethfromdocximportDocumentimportjieba#分词模块#自定义函数，将word文档写入txt文档defto_txt(path):document=Document(path)txt=open(‘/
分类：
编程语言 时间：
2020-03-10 23:29:42
阅读次数：
99
本文介绍一些常用的无监督关键词提取算法：TF-IDF，TextRank，主题模型算法 一、TF-IDF算法 即词频-逆文档频次算法，其基本思想是想要找到这样的词：它在一篇文档中出现的频次高（TF），即说明这篇文档很有可能围绕这个词进行说明；但是并不在多篇文档中出现（IDF），即说明这个词对文档的区分 ...
分类：
其他好文 时间：
2020-03-10 21:55:57
阅读次数：
173
一、文本分词 将需要进行分析的文本进行分词（英文直接按照空格分隔词汇，中文则需通过分词工具分隔之后，把词之间加上空格） 二、去停用词 在文本中可以发现类似”the”、”a”等词的词频很高，但是这些词并不能表达文本的主题，我们称之为停用词。 对文本预处理的过程中，我们希望能够尽可能提取到更多关键词去表 ...
分类：
其他好文 时间：
2020-03-08 17:16:36
阅读次数：
142
字典树 又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来节约存储空间，最大限度地减少无谓的字符串比较，查询效率比哈希表高，缺点是内存开销大。 字典 ...
分类：
其他好文 时间：
2020-03-08 15:44:56
阅读次数：
60
TF-idf模型：TF表示的是词频：即这个词在一篇文档中出现的频率 idf表示的是逆文档频率， 即log(文档的个数/1+出现该词的文档个数) 可以看出出现该词的文档个数越小，表示这个词越稀有，在这篇文档中也是越重要的 TF-idf： 表示TF*idf, 即词频*逆文档频率 词袋模型不仅考虑了一个词 ...
分类：
其他好文 时间：
2020-03-07 19:08:19
阅读次数：
73
Nvidia 2019 perl 笔试题 统计一个文件内单词的频次并排序 文本如下： "ALL happy families resemble one another; every unhappy family is unhappy in its own way. All was confusion ...
分类：
其他好文 时间：
2020-02-28 01:22:15
阅读次数：
74
机器翻译及相关技术 翻译前准备 清洗（大小写转换 标点符号） 分词（每个单词分开，生成一一对应的列表） 建立词典（根据词频进行统计 单词对应唯一id） Encoder Decoder encoder将输入转化为隐藏状态，再由decoder将隐藏状态输出为翻译后语言。 sequence to sequ ...
分类：
其他好文 时间：
2020-02-19 20:57:50
阅读次数：
62
