前言：前两篇转载别人的精彩文章，自己也总结一下吧！ 最近又开始用起py，是为什么呢？ 自己要做一个文本相似度匹配程序，大致思路就是两个文档，一个是试题，一个是材料，我将试题按每题分割出来，再将每题的内容与材料中进行文本相似度匹配。 所以先首先要做的是将试题把每道题作为一个字符串切割开来，存放到字典中 ...
分类：
编程语言 时间：
2017-01-12 11:37:51
阅读次数：
164
Atitti knn实现的具体四个距离算法 欧氏距离、余弦距离、汉明距离、曼哈顿距离 1. Knn算法实质就是相似度的关系1 1.1. 文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用1 2. 汉明距离1 2.1. 历史及应用1 3. 曼哈顿距离2 3.1. SimHa ...
分类：
编程语言 时间：
2016-10-25 07:36:59
阅读次数：
689
详见：Glen Jeh 和 Jennifer Widom 的论文SimRank: A Measure of Structural-Context Similarity?一、简介
目前主要有两大类相似性度量方法：
(1) 基于内容(content-based)的特定领域(domain-specific)度量方法，如匹配文本相似度，计算项集合的重叠区域等；
(2) 基于链接（对象间的...
分类：
其他好文 时间：
2016-07-19 10:32:59
阅读次数：
483
1.定义 向量空间模型是一个把文本表示为标引项(Index Term)向量的代数模型，原型系统SMART*。 向量空间模型的定义很简单，文档d，查询q都用向量来表示。 查询和文档都可转化成term及其权重组成的向量表示，都可以看成空间中的点。向量之间通过距离计算得到查询和每个文档的相似度。 我们在向 ...
分类：
其他好文 时间：
2016-04-06 15:03:08
阅读次数：
499
本文是讲述如何使用word2vec的基础教程，文章比较基础，希望对你有所帮助！
官网C语言下载地址：http://word2vec.googlecode.com/svn/trunk/
Word2vec是Google公司在2013年开放的一款用于训练词向量的软件工具。它根据给定的语料库，通过优化后的训练模型快速有效的将一个词语表达成向量形式，其核心架构包括CBOW和Skip-gram。...
分类：
其他好文 时间：
2016-02-18 01:25:25
阅读次数：
1702
在文本相似度判定中，作者将该算法用于文本聚类中，其核心思想通过比较两个文本向量中元素的相似度，即向量中所含的元素相似个数越多，则两个向量越相似，继而上述文本越相似。作者在短文本相似判定中采用了余弦相似度该算法来实现，本文借鉴数学集合取交集，借用现有组件来实现上述算法功能，继而减少工作量，也具备便捷性...
分类：
其他好文 时间：
2015-10-25 12:03:30
阅读次数：
292
针对文本相似判定，本文提供余弦相似度和SimHash两种算法，并根据实际项目遇到的一些问题，给出相应的解决方法。经过实际测试表明：余弦相似度算法适合于短文本，而SimHash算法适合于长文本，并且能应用于大数据环境中。
分类：
其他好文 时间：
2015-10-15 10:04:48
阅读次数：
273
前言余弦定理，这个在初中课本中就出现过的公式，恐怕没有人不知道的吧。但是另外一个概念，可能不是很多的人会听说过，他叫空间向量，一般用e表示，高中课本中有专门讲过这个东西，有了余弦定理和向量空间，我们就可以做许多有意思的事情了，利用余弦定理计算文本相似度的算法就是其中一个很典型的例子。当然这个话题太老，说的人太多，没有什么新意，恰巧周末阅读了吴军博士的>这门书，书中讲到了利用余弦定理实现新闻分类，于...
分类：
编程语言 时间：
2015-07-27 23:04:38
阅读次数：
239
最近由于工作项目，需要判断两个txt文本是否相似，于是开始在网上找资料研究，因为在程序中会把文本转换成String再做比较，所以最开始找到了这篇关于距离编辑算法Blog写的非常好，受益匪浅。 于是我决定把它用到项目中，来判断两个文本的相似度。但后来实际操作发现有一些问题：直接说就是查询一本书中的相似...
分类：
编程语言 时间：
2015-06-09 00:54:03
阅读次数：
143
在计算文本相似项发现方面，有以下一些可参考的方法。这些概念和方法会帮助我们开拓思路。相似度计算方面Jaccard相似度：集合之间的Jaccard相似度等于交集大小与并集大小的比例。适合的应用包括文档文本相似度以及顾客购物习惯的相似度计算等。Shingling：k-shingle是指文档中连续出现的任...
分类：
其他好文 时间：
2015-06-09 00:51:23
阅读次数：
110
