simhash-- 一种文档去重的算法

# coding=utf-8
import os

single_bits = {}
for x in xrange(32):
    single_bits[x] = 1 << x

print single_bits
def simhash(str):
    simhash_map = {}
    for x in xrange(32):
        simhash_map[x] = 0
    for c in str:
        h = hash(c)
        for bit in single_bits:
            if h & single_bits[bit] == 0:
                simhash_map[bit] -= 1
            else:
                simhash_map[bit] += 1
    result = 0
    for x in xrange(32):
        if simhash_map[x] > 0:
            result |= single_bits[x]

    return result

def haiming_dis(simhash1, simhash2):
    dis = 0
    sh = simhash1 ^ simhash2
    for x in xrange(32):
        if sh & (1 << x) > 0:
            dis += 1
    return dis

if __name__ == "__main__":
    str = "事实上，传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的缺点就是，无法将其扩展到海量数据。例如，试想像Google那种收录了数以几十亿互联网信息的大型搜索引擎，每天都会通过爬虫的方式为自己的索引库新增的数百万网页，如果待收录每一条数据都去和网页库里面的每条记录算一下余弦角度，其计算量是相当恐怖的。"
    str2 = "事实上，传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的几何距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的优点就是，无法将其扩展到海量数据。例如，试想像baidu那种收录了数以几十亿互联网信息的大型搜索引擎，每天都会通过爬虫的方式为自己的索引库新增的数百万网页，如果待收录每一条数据都去和网页库里面的每条学习算一下余弦角度，其计算量是相当恐怖的。"
    sh1 = simhash(str)
    sh2 = simhash(str2)
    print sh1
    print sh2
    print haiming_dis(sh1, sh2)

3544471205
3540285093
2