当我们尝试使用统计机器学习方法解决文本的有关问题时，第一个需要的解决的问题是，如果在计算机中表示出一个文本样本。一种经典而且被广泛运用的文本表示方法，即向量空间模型(VSM)，俗称“词袋模型”。 我们首先看一下向量空间模型如何表示一个文本： 空间向量模型需要一个“字典”：文本的样本集中特征词集合，这 ...
分类：
其他好文 时间：
2016-06-10 13:36:34
阅读次数：
456
1.定义 向量空间模型是一个把文本表示为标引项(Index Term)向量的代数模型，原型系统SMART*。 向量空间模型的定义很简单，文档d，查询q都用向量来表示。 查询和文档都可转化成term及其权重组成的向量表示，都可以看成空间中的点。向量之间通过距离计算得到查询和每个文档的相似度。 我们在向 ...
分类：
其他好文 时间：
2016-04-06 15:03:08
阅读次数：
499
建立文本数据数学描述的过程分为三个步骤：文本预处理、建立向量空间模型和优化文本向量。文本预处理主要采用分词、停用词过滤等技术将原始的文本字符串转化为词条串或者特点的符号串。文本预处理之后，每一个文本的词条串被进一步转换为一个文本向量，向量的每一维对应一个词条，其值反映的是这个词条与这个文本之间的相似度。相似度有很多不同的计算方法，所以优化文本向量就是采用最为合适的计算方法来规范化文本向量，使其能更好...
分类：
其他好文 时间：
2016-03-29 10:48:22
阅读次数：
314
实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词**来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用...
分类：
其他好文 时间：
2016-01-25 11:06:46
阅读次数：
149
在知识图谱构建阶段的实体对齐和属性值决策过程中、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等，都涉及到了向量空间模型（Vector Space Model，简称VSM）和余弦相似度计算相关知识。这篇文章主要是先叙述VSM和余弦相似度相关理论知识，然后引用阮一峰大神的例子进行解释，最后通过P...
分类：
编程语言 时间：
2015-12-18 06:54:10
阅读次数：
1518
这篇文章主要是爬取百度5A景区摘要信息，再利用Jieba分词工具进行中文分词，最后提出文本聚类算法的一些概念知识。一. Selenium爬取百度百科摘要 二. Jieba中文分词 1.安装及入门介绍 2.添加自定义词典 3.关键词提取 4.对百度百科获取摘要分词 5.去除停用词 三. 基于VSM的文...
分类：
编程语言 时间：
2015-12-18 06:49:30
阅读次数：
8948
在知识图谱构建阶段的实体对齐和属性值决策过程中、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等，都涉及到了向量空间模型（Vector Space Model，简称VSM）和余弦相似度计算相关知识。这篇文章主要是先叙述VSM和余弦相似度相关理论知识，然后引用阮一峰大神的例子进行解释，最后通过Python简单实现百度百科和互动百科Infobox的余弦相似度计算。基本步骤：1.分别统计两个文档的关键词 2.两篇文章的关键词合并成一个集合...希望文章对你有所帮助~...
分类：
编程语言 时间：
2015-11-18 07:04:06
阅读次数：
534
VSM思想 把文档表示成R|v|上的向量，从而可以计算文档与文档之间的相似度（根据欧氏距离或者余弦夹角） 那么，如何将文档将文档表示为向量呢？ 首先，需要选取基向量/dimensions，基向量须是线性独立的或者正交的向量。 在IR系统中，有两种方式决定基向量： 1.核心概念的思想（core...
分类：
其他好文 时间：
2015-10-18 15:33:57
阅读次数：
158
定理. 调和级数 $\dps{\vsm{n}\frac{1}{n}}$ 是发散的.
分类：
其他好文 时间：
2015-07-04 19:35:59
阅读次数：
103
最近想学习下Lucene ，以前运行的Demo就感觉很神奇，什么原理呢，尤其是查找相似度最高的、最优的结果。索性就直接跳到这个问题看，很多资料都提到了VSM（Vector Space Model）即向量空间模型，根据这个模型可以对搜索的结果进行最优化的筛选，目前还不知道如何证明，只能凭借想象应该是这...
分类：
其他好文 时间：
2015-06-15 20:09:03
阅读次数：
329
