概括：朴素贝叶斯分类器(Naïve Bayes classifier)是一种相当简单常见但是又相当有效的分类算法，在监督学习领域有着很重要的应用。朴素贝叶斯是建立在“全概率公式”的基础下的，由已知的尽可能多的事件A、B求得的P(A|B)来推断未知P(B|A)，是的有点玄学的意思，敲黑板！！！ 优点： ...
分类：
其他好文 时间：
2019-12-13 14:20:21
阅读次数：
295
文本分析概念 停用词 语料中大量出现, 无用数据, 如下类似的这种词语 Tf - 词频统计 TF 的计算方式有很多, 最常见的用 某词文章中出现次数 / 文章总词数 idf - 逆文档频率 TF - idf 关键词提取 相似度 分词 语料库 词频 词频向量 整体流程 语料清洗 (去掉停用词, 去掉大 ...
分类：
其他好文 时间：
2019-11-18 16:56:51
阅读次数：
240
结巴分词：jieba.cut() 决策树 集成学习 无监督学习 tf-idf文本特征提取 tf 词频 idf 逆向文档频率 tf-idf 思想：一篇文章中出现多次，其他文章很少出现 TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 词频（term frequen ...
分类：
编程语言 时间：
2019-11-18 15:38:18
阅读次数：
73
TF-IDF TF-IDF统计的是词库所有词的出现频率与在文件级出现频率的倒数的对数乘积。 TF:即词语出现的频率。 IDF：记每个词出现的文件数为 file_i,总文件数为file_num，IDF[I] = log(file_num/(1+file_i)) TF-IDF = TF * IDF 1 ...
分类：
其他好文 时间：
2019-11-15 14:00:32
阅读次数：
56
Abstract： 本文提出一种用于大规模的长期回环检测，基于一种内存管理方法：限制用于回环检测的位置数目，以满足实时性要求。 introduction： 大场景存在的最关键问题：随着场景增大，回环检测处理的数据量增大，可能会产生延时。该论文的研究重心在于设计一种在线的基于外观回环检测方法。为了限制 ...
分类：
移动开发 时间：
2019-10-22 22:20:53
阅读次数：
118
from 10.5-10.7 1. tf-idf 词频 * 逆文档频率 词频为给定词在该词所在文档中出现的频率（该词在文件中的出现次数 / 该文件中所有词出现次数之和）；对词数进行归一化，以防止它偏向长的文件。 逆向文件频率是一个词普遍重要性的度量。某一特定词的IDF，可以由总文件数目除以包含该词文 ...
分类：
其他好文 时间：
2019-10-05 20:42:27
阅读次数：
109
Elasticsearch 的相似度算法 被定义为检索词频率/反向文档频率， TF/IDF ，包括以下内容： 检索词频率 检索词在该字段出现的频率？出现频率越高，相关性也越高。 字段中出现过 5 次要比只出现过 1 次的相关性高。反向文档频率 每个检索词在索引中出现的频率？频率越高，相关性越低。检索 ...
分类：
其他好文 时间：
2019-09-21 10:56:34
阅读次数：
99
本文介绍常见的文本表示模型，One-hot、词袋模型（BOW）、TF-IDF、N-Gram和Word2Vec 一、离散表示 1、One-hot编码 One-hot编码是非常用的方法，我们可以用One-hot编码的方式将句子向量化，大致步骤为： 用构造文本分词后的字典 对词语进行One-hot编码 J ...
分类：
其他好文 时间：
2019-09-05 22:57:26
阅读次数：
1878
五、TF-IDF以及LDA主题模型 TF-IDF关键词提取 可以得到第2400条数据以及关键词 从最后一句话就可以大致得到这段文章的大致意思，那这些词就是这段文章的关键词。 LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，它是一种主题模型，它包含文章，主题和词 ...
分类：
其他好文 时间：
2019-09-04 10:19:58
阅读次数：
164
简单介绍 LSA和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA 将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度 ...
分类：
其他好文 时间：
2019-09-03 15:00:27
阅读次数：
222
