标签：http io ar 使用 sp strong on div art
MinHash是用于快速检测两个集合的相似性的方法。改方法由Andrei Broder（1997）发明，并最初用于搜索引擎AltaVista中来检测重复的网页的算法。它同样可以用于推荐系统和大规模文档聚类中。
我们先介绍Jaccard相似度量。对于两个集合A与B，Jaccard相似性系数可以定义为：
容易知道，Jaccard系数是0-1之间的值。当两个集合越接近，那么该值越接近1；反之跟接近0。
假设h是一个hash function，将A与B的元素映射成一个整数，定义：是集合S中具有最小哈希值的元素。假设该哈希值足够好，不会产生碰撞，那么，我们可以得到一个重要的结论：
仅当中具有最小哈希值得元素位于
中时，
。
所以有，，即集合A、B经过hash后最小哈希值相等的概率。
若令为一个随机变量，当
时取1，否则取0，那么
就是
的一个无偏估计。
有了上面的重要结论，我们可以根据minhash来计算两个集合的相似度了。
方法1：使用多个hash函数
取k个hash函数，对于每个hash函数，计算和
。用y表示
的次数，那么可以用
来估计
。
方法2：使用单一的hash函数
上面讲到的方法1是比较耗时的，因为要计算集合中每个元素的k个哈希函数的值，计算复杂度比较高。为了达到一定的准确性，k通常取400或800。
为了减少计算量，我们定义表示集合S中拥有最小hash值的k个元素组成的子集。我们可以把
当成集合S的一个签名。我们可以用两个集合的签名的相似度来估计这两个集合的相似度。
那么
是集合的一个随机抽样。
是X和的交集。
因此，是
的一个无偏估计。
根据标准切尔诺夫界限，对与非替换的抽样，期望的误差
注：无偏估计：
标签：http io ar 使用 sp strong on div art
原文地址：http://www.cnblogs.com/baiting/p/4132066.html
