白天看了一份PPT，把里面有用的东西截下来，哪天把L2R理好了，整理下~ locality-Sensitive Hashing(MinHash/SimHash) 关联规则：辛普森悖论 ...
分类：
其他好文 时间：
2016-10-12 22:16:53
阅读次数：
191
Internet上的一些站点常常存在着镜像网站（mirror），即两个网站的内容一样但网页对应的域名不同。这样会导致对同一份网页爬虫重复抓取多次。为了避免这种情况，对于每一份抓取到的网页，它首先需要进入ContentSeen模块。该模块会判断网页的内容是否和已下载过的某个网页的内容一致，如果一致，则... ...
分类：
其他好文 时间：
2016-09-13 20:52:41
阅读次数：
404
1.概述 跟SimHash一样，MinHash也是LSH的一种，可以用来快速估算两个集合的相似度。MinHash由Andrei Broder提出，最初用于在搜索引擎中检测重复网页。它也可以应用于大规模聚类问题。 2.Jaccard index 在介绍MinHash之前，我们先介绍下Jaccard i ...
分类：
编程语言 时间：
2016-08-03 10:14:33
阅读次数：
185
SimHash 事实上，传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的缺点就是，无法将其扩展到海量数据。例如，试想像Google那种收录了数以几十亿互联网信息的大型搜索引擎， ...
分类：
其他好文 时间：
2016-08-02 00:49:42
阅读次数：
807
SimHash algorithm, introduced by Charikar and is patented by Google. Simhash 5 steps: Tokenize, Hash, Weigh Values, Merge, Dimensionality Reduction to ...
分类：
其他好文 时间：
2016-05-30 14:25:27
阅读次数：
190
http://gemantic.iteye.com/blog/1701101 simHash 简介以及java实现 博客分类： 算法 simHash java 去重 传统的hash 算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上相当于伪随机数产生算法。产生的两个签名，如果相等，说明原始内
分类：
编程语言 时间：
2016-03-01 20:57:04
阅读次数：
442
转载：http://toutiao.com/news/6253252096791937537/?iid=3521431589 在之前的两篇博文分别介绍了常用的hash方法（[Data Structure & Algorithm] Hash那点事儿）以及局部敏感hash算法（[Algorithm] 局
分类：
其他好文 时间：
2016-02-23 11:05:05
阅读次数：
273
在之前的两篇博文分别介绍了常用的hash方法（[Data Structure & Algorithm] Hash那点事儿）以及局部敏感hash算法（[Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)），本文介绍的SimHash是一种局部敏感hash，它也
分类：
其他好文 时间：
2016-02-20 14:42:11
阅读次数：
332
这篇文章主要讲simHash算法。这是一种LSH（Locality-Sensitive Hashing，局部敏感哈希）的简单实现。它是广泛用于数据去重的算法，可以用于相似网站、图片的检索。而且当两个样本差别并不大时，算法仍能起效。值得一提的是，该算法的时空复杂度不存在与维度有关的项，所以不会遭遇维度
分类：
编程语言 时间：
2016-02-17 20:43:25
阅读次数：
251
针对文本相似判定，本文提供余弦相似度和SimHash两种算法，并根据实际项目遇到的一些问题，给出相应的解决方法。经过实际测试表明：余弦相似度算法适合于短文本，而SimHash算法适合于长文本，并且能应用于大数据环境中。
分类：
其他好文 时间：
2015-10-15 10:04:48
阅读次数：
273
