【数据挖掘】布隆过滤器

 1 #************************************************************BloomFiter********************************************************
 2 import os
 3 import sys
 4 from BitVector import BitVector
 5 
 6 class HashGenerator(object):#本类代表一个hash函数，参数是过滤器的总位数，hash的种子
 7     def __init__(self, capability,seed):
 8         self.capability=capability;#定义过滤器总位数
 9         self.seed=seed;#定义这个hash函数的生成种子，关于种子为什么要选质数，请作解答
10 
11     def hash(self,value):
12         result=0
13         for i in value:
14             result+=self.seed*result+ord(i)#对字符串内的每个单字计算
15         return (self.capability-1)&result#这个地方是参考来的，没搞明白为毛要做个位与
16 
17 class BloomFilter(object):
18     def __init__(self):
19         self.size=1<<25#位运算
20         self.seed=[5,7,11,13,31,37,61]#8个种子，8个hash函数
21         self.hashfunlist=[];#存8个hash类
22         self.container=BitVector(size=self.size)#存下位向量
23         for i in self.seed:
24             self.hashfunlist.append(HashGenerator(self.size,i))
25 
26     def insert(self,value):
27         for item in self.hashfunlist:
28             index=item.hash(value)
29             self.container[index]=1;
30 
31     def iscontained(self,value):
32         if value==None:
33             return False
34         for i in range(len(self.seed)):
35             if(self.container[self.hashfunlist[i].hash(value)]==0):
36                 return False
37         return True;
38 
39 def Test():
40     testlist=["www.baidu.com",‘www.sina.com‘,‘www.baidu.com‘,‘www.gamersky.com‘,‘www.google.jp‘,‘www.google.jp‘]
41     Filter=BloomFilter()
42     for i in testlist:
43         if Filter.iscontained(i):
44             print("The item is in"+i.__str__())
45         else:
46             Filter.insert(i)
47 
48 Test()
49 
50 #************************************************************BloomFiter********************************************************