编辑距离问题： 编辑距离，又称Levenshtein距离，是一种字符串之间相似度计算的方法，指两个字符串之间，由一个转换成另一个所需的最少编辑次数。有效的编辑操作为单个字符的替换、插入和删除。对给定两个字符串S、T，将S转换成T所需要的删除，插入，替换操作的数量就叫做S到T的编辑路径。而最短的编辑路 ...
分类：
其他好文 时间：
2017-03-31 21:50:41
阅读次数：
173
最近在做基于本体概念的语义相似度的计算理论研究及实现，现在做一个相关的总结，以便今后查找或者供他人借鉴和学习。 做这个研究的目的是为了进行Agent能力模型中目标和能力的匹配，从而进行目标对能力的一个择优过程。在我们的能力模型中，capability表示为C(InConstaints，OutCont ...
分类：
其他好文 时间：
2017-03-29 22:52:44
阅读次数：
258
目前大多数中文文本分类系统都采用词作为特征项，作为特征项的词称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算 。 1 基于频率的过滤方法 基于频率的过滤方法中，一条留言中一个词语出现一次以上都是按照一次计算。本文采用了长匹配优先的方式对其进行匹配。如果 ...
分类：
其他好文 时间：
2017-03-17 23:15:39
阅读次数：
245
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较 ...
分类：
其他好文 时间：
2017-02-16 14:31:26
阅读次数：
167
通过 采集系统 我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集 ...
分类：
其他好文 时间：
2017-02-16 14:25:14
阅读次数：
247
余弦相似度 计算公式为： P(A，B) = sqrt(A × B) / (|A| × |B|) 设有两个字符串： ABCDEFG ABCHIJK 其中共有11个字符，为： A B C D E F G H I J K 如果，不考虑他们之间的关联性以及顺序等隐私，那么可以讲这两个字符串转换成两个11维空 ...
分类：
编程语言 时间：
2016-10-31 18:46:09
阅读次数：
1407
Atitti knn实现的具体四个距离算法 欧氏距离、余弦距离、汉明距离、曼哈顿距离 1. Knn算法实质就是相似度的关系1 1.1. 文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用1 2. 汉明距离1 2.1. 历史及应用1 3. 曼哈顿距离2 3.1. SimHa ...
分类：
编程语言 时间：
2016-10-25 07:36:59
阅读次数：
689
Atitit 判断判断一张图片是否包含另一张小图片 1. keyword1 2. 模板匹配是在图像中寻找目标的方法之一（切割+图像相似度计算）1 3. 匹配效果2 4. 图片相似度的算法（感知哈希算法”（Perceptual hash algorithm）2 5. 性能结果2 6. 如何提升性能3 ...
分类：
其他好文 时间：
2016-10-06 14:49:10
阅读次数：
368
欧几里德距离评价： 以经过人们一致评价的物品为坐标轴，然后将参与评价的人绘制到图上，并考察他们彼此之间的距离远近。计算出每一轴向上的差值，求平方之后再相加，最后对总和取平方根。 皮尔逊相关度评价： Mick Lasalle为《Superman》评了3分，而Gene Seyour则评了5分，所以该影片 ...
分类：
其他好文 时间：
2016-08-15 18:39:39
阅读次数：
355
详见：Glen Jeh 和 Jennifer Widom 的论文SimRank: A Measure of Structural-Context Similarity?一、简介
目前主要有两大类相似性度量方法：
(1) 基于内容(content-based)的特定领域(domain-specific)度量方法，如匹配文本相似度，计算项集合的重叠区域等；
(2) 基于链接（对象间的...
分类：
其他好文 时间：
2016-07-19 10:32:59
阅读次数：
483
