什么是TD-IDF？ 计算特征向量（或者说计算词条的权重） 构造文档模型 我们这里使用空间向量模型来数据化文档内容：向量空间模型中将文档表达为一个矢量。 We use the spatial vector model to digitize the document content: the vec ...
分类：
其他好文 时间：
2020-01-22 18:28:36
阅读次数：
236
知道原理的同学这部分可以略过直接看实践部分 什么是TD-IDF？ 构造文档模型 我们这里使用空间向量模型来数据化文档内容：向量空间模型中将文档表达为一个矢量。 用特征向量（T1，W1；T2，W2；T3， W3；…；Tn，Wn）表示文档。 Ti是词条项，Wi是Ti在文档中的重要程度， 即将文档看作是由 ...
分类：
其他好文 时间：
2020-01-22 14:35:25
阅读次数：
138
搜索结果排序是搜索引擎最核心的构成部分，很大程度上决定了搜索引擎的质量好坏。虽然搜索引擎在实际结果排序时考虑了上百个相关因子，但最重要的因素还是用户查询与网页内容的相关性。（ps：百度最臭名朝著的“竞价排名”策略，就是在搜索结果排序时，把广告客户给钱最多的排在前列，而不是从内容质量考虑，从而严重影响 ...
分类：
其他好文 时间：
2019-09-13 17:37:50
阅读次数：
104
简单介绍 LSA和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA 将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度 ...
分类：
其他好文 时间：
2019-09-03 15:00:27
阅读次数：
222
在文本挖掘与文本分类的有关问题中，文本最初始的数据是将文档表示成向量空间模型的一个矩阵，而这个矩阵所拥有的就是不同的词，常采用特征选择方法。原因是文本的特征一般都是单词(term)，具有语义信息，使用特征选择找出的k维子集，仍然是单词作为特征，保留了语义信息，而特征提取则找k维新空间，将会丧失了语义 ...
分类：
编程语言 时间：
2019-09-01 01:16:49
阅读次数：
99
1.自动文本分类是对大量的非结构化的文字信息（文本文档、网页等）按照给定的分类体系，根据文字信息内容分到指定的类别中去，是一种有指导的学习过程。 分类过程采用基于统计的方法和向量空间模型可以对常见的文本网页信息进行分类，分类的准确率可以达到85%以上。分类速度50篇/秒。 2.要想分类必须先分词，进 ...
分类：
其他好文 时间：
2019-03-24 23:06:57
阅读次数：
197
Vector Space Model：向量空间模型 参考: 向量空间模型(Vector Space Model)的理解 词袋模型 TF-IDF TF-IDF 参考: TF-IDF与余弦相似性的应用（一）：自动提取关键词 Vector Space Model：向量空间模型 参考: 向量空间模型(Vec ...
分类：
其他好文 时间：
2019-02-04 09:01:09
阅读次数：
158
1. 问题描述 给你若干篇文档，找出这些文档中最相似的两篇文档？ 相似性，可以用距离来衡量。而在数学上，可使用余弦来计算两个向量的距离。 $$cos(\vec a, \vec b)=\frac {\vec a \vec b}{||\vec a|| ||\vec b||}$$ 因此，用向量来表示文档， ...
分类：
其他好文 时间：
2018-04-01 21:51:56
阅读次数：
220
主要知识点： boolean model IF/IDF vector space model 一、boolean model 在es做各种搜索进行打分排序时，会先用boolean model 进行初步的筛选，boolean model类似and这种逻辑操作符，先过滤出包含指定term的doc。mus... ...
分类：
编程语言 时间：
2018-03-08 13:52:33
阅读次数：
159
对标题党新闻识别技术的相关知识进行研究和总结,包括网页去噪工作原理、向量空间模型和矩阵的奇异值分解的相关知识。了解基于潜在语义分析的标题党识别系统,学习其相关技术,包括向量空间模型的构建、基于SVD的塌陷矩阵构建模块和基于LSA算法的标题党新闻判定模块。 主要工作内容：数据集特征分析及模型训练大神给 ...
分类：
其他好文 时间：
2018-02-23 12:06:59
阅读次数：
184
