参考：https://www.cnblogs.com/fengfenggirl/p/lsh.html 一、引入 LSH就是对高维空间的数据进行近邻搜索的一种算法。它的原则是：原来在高维空间中就很接近的点，如果能够设计一种hash函数，使得它们的哈希值很大概率是一样的，那么再给一个新的高维空间上的点， ...
分类：
其他好文 时间：
2020-04-03 15:07:00
阅读次数：
87
minhash simhash SimHash的工作原理 SimHash算法工作流程图： SimHash的工作原理 SimHash算法工作流程图： 1、分词，把需要判断文本分词形成这个文章的特征单词。最后形成去掉噪音词的单词序列并为每个词加上权重，我们假设权重分为5个级别（1~5）。比如：“ 美国“ ...
分类：
其他好文 时间：
2019-03-27 15:29:09
阅读次数：
306
1.Locality Sensitive Hashing(LSH, 局部敏感哈希) 如果我们的数据非常大，有多个对象，如果一对一对的比较，需要比较N （N 1）/2，检查每一对数据很困难。 大体思路 ：用一个函数f(x, y)来判断x和y是不是一个候选对，计算候选对的相似度。 For minhash ...
分类：
其他好文 时间：
2019-03-25 20:37:12
阅读次数：
170
1.Locality Sensitive Hashing(Shingling+MinHash) (LSH, 局部敏感哈希) 2. Learning to Hash 1.Introduction 很多的网页挖掘问题都可以表述为寻找相似集合： 1. 论文查重； 2. 推荐系统； 2.Finding Si ...
分类：
其他好文 时间：
2019-03-23 13:11:55
阅读次数：
143
转自局部敏感哈希(Locality-Sensitive Hashing, LSH) 一、局部敏感哈希LSH 在很多应用领域中，我们面对和需要处理的数据往往是海量并且具有很高的维度，怎样快速地从海量的高维数据集合中找到与某个数据最相似（距离最近）的一个数据或多个数据成为了一个难点和问题。如果是低维的小 ...
分类：
其他好文 时间：
2019-01-02 17:33:43
阅读次数：
209
在使用局部敏感哈希算法的过程中，发现python有相关实现，但是在下载时报错，很让人抓狂！ 百度了很久找不到方法，后来谷歌找到了解决方法（参见https://github.com/kayzhu/LSHash/pull/18）。 简单来说就是，lshash 0.0.4dev 版本的包基于旧版本pyth ...
分类：
编程语言 时间：
2018-10-25 19:30:44
阅读次数：
748
为此我们需要一种应对于海量数据场景的去重方案，经过研究发现有种叫 local sensitive hash 局部敏感哈希 的东西，据说这玩意可以把文档降维到hash数字，数字两两计算运算量要小很多。查找很多文档后看到google对于网页去重使用的是simhash，他们每天需要处理的文档在亿级别，大大 ...
分类：
编程语言 时间：
2018-09-05 17:28:37
阅读次数：
1001
介绍项目： 局部敏感哈希？ 如何做召回？ 如何用模型做对话系统？ 背诵题： 什么是卷积？ 什么是窄卷积，什么是宽卷积？（没答上来，，，日了狗了！！！） 补零(Zero-padding)：补零也叫宽卷积，不补零就叫窄卷积。 xgb gbdt rf adaboost 之间的区别联系？ relu 与sig ...
分类：
编程语言 时间：
2018-04-24 21:49:37
阅读次数：
154
1.介绍 爬虫采集了大量的文本数据，如何进行去重？可以使用文本计算MD5，然后与已经抓取下来的MD5集合进行比较，但这种做法有个问题，文本稍有不同MD5值都会大相径庭， 无法处理文本相似问题。另一种方式是本文要介绍的SimHash，这是谷歌提出的一种局部敏感哈希算法，在吴军老师的《数学之美》里也有介 ...
分类：
编程语言 时间：
2018-03-21 15:03:37
阅读次数：
161
关于局部敏感哈希算法。之前用R语言实现过，可是由于在R中效能太低。于是放弃用LSH来做类似性检索。学了python发现非常多模块都能实现，并且通过随机投影森林让查询数据更快。觉得能够试试大规模应用在数据类似性检索+去重的场景。 私觉得，文本的类似性能够分为两类：一类是机械类似性；一类是语义类似性。 ...
分类：
编程语言 时间：
2018-01-12 18:34:56
阅读次数：
1095
