在知识图谱构建阶段的实体对齐和属性值决策过程中、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等，都涉及到了向量空间模型（Vector Space Model，简称VSM）和余弦相似度计算相关知识。这篇文章主要是先叙述VSM和余弦相似度相关理论知识，然后引用阮一峰大神的例子进行解释，最后通过Python简单实现百度百科和互动百科Infobox的余弦相似度计算。基本步骤：1.分别统计两个文档的关键词 2.两篇文章的关键词合并成一个集合...希望文章对你有所帮助~...
分类：
编程语言 时间：
2015-11-18 07:04:06
阅读次数：
534
利用向量空间模型进行文本分类的思路主要基于邻近假设（contiguity hypothesis）。 邻近假设： ????同一类的文档会构成一个邻近区域，而不同类的邻近区域之间是互不重叠的。 1、Rocchio方法 ????...
分类：
其他好文 时间：
2015-10-22 07:04:55
阅读次数：
144
卷积神经网络、nlp(Natural Language Processing 分词这块)、数据挖掘、机器学习、deeplearning、文本挖掘、人工智能、livsvm、word2vecword2vec:是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空...
分类：
其他好文 时间：
2015-10-19 16:48:46
阅读次数：
195
VSM思想 把文档表示成R|v|上的向量，从而可以计算文档与文档之间的相似度（根据欧氏距离或者余弦夹角） 那么，如何将文档将文档表示为向量呢？ 首先，需要选取基向量/dimensions，基向量须是线性独立的或者正交的向量。 在IR系统中，有两种方式决定基向量： 1.核心概念的思想（core...
分类：
其他好文 时间：
2015-10-18 15:33:57
阅读次数：
158
转自： http://lutaf.com/210.htm Lucene在进行关键词查询的时候，默认用TF-IDF算法来计算关键词和文档的相关性，用这个数据排序 TF:词频,IDF：逆向文档频率，TF-IDF是一种统计方法，或者被称为向量空间模型,名字听起来很复杂，但是它其实只包含了两个简单规则 某个...
分类：
Web程序 时间：
2015-08-30 19:09:12
阅读次数：
166
1、余弦距离余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。余弦定理描述了三角形中任何一个夹角...
分类：
其他好文 时间：
2015-08-11 18:27:14
阅读次数：
128
一、线形代数理论基础
线形代数（linear algebra）是数学的一个分支，研究矩阵理论、向量空间、线性变换和有限维线形方程组等内容。
比较重要的思想有：1.线性代数的核心内容是研究有限维线性空间的结构和线性空间的线性变换；2.向量的线性相关性是研究线性空间结构与线性变换理论的基础；3.矩阵是有限维线性空间的线性变换的表示形式；4.线性方程组的求解问题是n维空间到m...
分类：
编程语言 时间：
2015-08-05 20:30:01
阅读次数：
433
一、TF-IDF、余弦相似度、向量空间模型（1）使用TF-IDF算法，找出两篇文章的关键词；（2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）；（3）生成两篇文章各自的词频向量；（4）计算两个向量的余弦相似...
分类：
其他好文 时间：
2015-07-29 19:08:52
阅读次数：
120
前言余弦定理，这个在初中课本中就出现过的公式，恐怕没有人不知道的吧。但是另外一个概念，可能不是很多的人会听说过，他叫空间向量，一般用e表示，高中课本中有专门讲过这个东西，有了余弦定理和向量空间，我们就可以做许多有意思的事情了，利用余弦定理计算文本相似度的算法就是其中一个很典型的例子。当然这个话题太老，说的人太多，没有什么新意，恰巧周末阅读了吴军博士的>这门书，书中讲到了利用余弦定理实现新闻分类，于...
分类：
编程语言 时间：
2015-07-27 23:04:38
阅读次数：
239
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin...
分类：
其他好文 时间：
2015-07-04 22:20:10
阅读次数：
283
