局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍 一、局部敏感哈希LSH 在很多应用领域中，我们面对和需要处理的数据往往是海量并且具有很高的维度，怎样快速地从海量的高维数据集合中找到与某个数据最相似（距离最近）的一个数据或多个数据成为了一个难点和问题。如果是低维 ...
分类：
其他好文 时间：
2017-12-30 12:11:12
阅读次数：
237
介绍 接上篇，【搜索引擎（五）】局部敏感哈希，本篇介绍的也是一个不精确的算法，用来不精确地排除重复元素。 利用布隆过滤器，可以大大降低排重的时间。但是其实在实际中它的作用有限，还要结合其他的技巧才能达到较好的效果。另外，它本身不作为索引，如果不加处理地加以使用，在搜索引擎的快响应（小于1s）的目标中 ...
分类：
其他好文 时间：
2017-11-13 19:47:01
阅读次数：
115
局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍 一、局部敏感哈希LSH 在很多应用领域中，我们面对和需要处理的数据往往是海量并且具有很高的维度，怎样快速地从海量的高维数据集合中找到与某个数据最相似（距离最近）的一个数据或多个数据成为了一个难点和问题。如果是低维 ...
分类：
其他好文 时间：
2017-07-20 18:52:46
阅读次数：
138
关于局部敏感哈希算法，之前用R语言实现过，但是由于在R中效能太低，于是放弃用LSH来做相似性检索。学了python发现很多模块都能实现，而且通过随机投影森林让查询数据更快，觉得可以试试大规模应用在数据...
分类：
编程语言 时间：
2017-04-23 01:04:16
阅读次数：
599
之前介绍了Annoy，Annoy是一种高维空间寻找近似最近邻的算法（ANN）的一种，接下来再讨论一种ANN算法，LSH局部敏感哈希。 LSH的基本思想是： 原始空间中相邻的数据点通过映射或投影变换后，在新空间中仍然相邻的概率很大，而不相邻的数据点映射后相邻的概率比较小。 也就是说，我们对原始空间中的 ...
分类：
其他好文 时间：
2017-03-09 23:10:34
阅读次数：
258
上一篇（R语言实现︱局部敏感哈希算法（LSH）解决文本机械相似性的问题（一，基本原理））讲解了LSH的基本原理，笔者在想这么牛气冲天的方法在R语言中能不能实现得了呢？
于是在网上搜索了一下，真的发现了...
分类：
编程语言 时间：
2016-11-19 21:21:23
阅读次数：
829
Locality Sensitive Hash是一种常见的用于处理高维向量的索引办法。与其它基于Tree的数据结构，诸如KD-Tree、SR-Tree相比，它较好地克服了Curse of Dimension，能够将KNN的时间复杂度缩减到sub-linear。LSH多被用于文本、多媒体（图像、音频） ...
分类：
其他好文 时间：
2016-08-20 19:07:48
阅读次数：
133
基于最近邻的算法，在各种情况下经常使用，但是当N特别大的时候，效率不是很高，比如当N=10^5，时已经不太好算了
暴力法：O(N^2)
KDT： O(N*sqrt(N)
局部敏感哈希(LSH)：跟桶大小有关...
分类：
编程语言 时间：
2016-05-12 20:11:49
阅读次数：
636
在之前的两篇博文分别介绍了常用的hash方法（[Data Structure & Algorithm] Hash那点事儿）以及局部敏感hash算法（[Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)），本文介绍的SimHash是一种局部敏感hash，它也
分类：
其他好文 时间：
2016-02-20 14:42:11
阅读次数：
332
这篇文章主要讲simHash算法。这是一种LSH（Locality-Sensitive Hashing，局部敏感哈希）的简单实现。它是广泛用于数据去重的算法，可以用于相似网站、图片的检索。而且当两个样本差别并不大时，算法仍能起效。值得一提的是，该算法的时空复杂度不存在与维度有关的项，所以不会遭遇维度
分类：
编程语言 时间：
2016-02-17 20:43:25
阅读次数：
251
