布隆过滤器（Bloom Filters）的原理及实现（Python + Java）

基本情况

 最佳的哈希函数数量

根据数学推理得（过程就算了）：当 p = 1/2, k = ln2 * (m/n)时，f 最小为(1/2)^k
可以看出，当位数组中有一半零一半一时，结果最好。
事实上，m 是 n 的倍数，而且 k 常取最接近但小于理论值的整数值。

1. 将标准布隆过滤器中的位数组变成整数数组，即可以用多位表示。
2. 标准布隆过滤器每个位置可以被多次置1，但只有一次有效，这样，某一个位置被多个元素哈希映射，当要删除其中一个元素时，该元素哈希映射的位置都应该变为零，那么就会破坏其他元素的映射，会出现假阴性。
3. 由于计算布隆过滤器的数组可以表示更大的整数，那么当某个位置被映射到时，该位置的计数值就自增1，而当某个元素被删除时，就将其映射位置的计数值减1。这样就解决了SBF的问题。
4. CBF同样存在问题，因为当计数值自增时可能会溢出，当计数值为4比特时，溢出的概率为：1.37 * 10^-15 * m，虽然很低，但对某些应用可能不够。一个简单的解决方法是，当计数值到达最大值时，就不在自增，但这导致假阴性。

1. 由前面我们知道，要使得布隆过滤器有最小的假阳性概率，数组中包含的0或1的概率应该是一样的，根据香农编码原理（Shannon coding principle），这样的布隆过滤器不能被压缩。虽然这样的布隆过滤器不能被直接压缩，但我们可以用其他方法达到一样的效果。
2. 要使得布隆过滤器 x 与布隆过滤器 y（ 包含的0或1的概率应该是一样的）具有相同的假阳性概率，那么，x 的大小要大于 y 的，x 的哈希函数的数量不同于 y 的，这样 x 中包含的0和1的数量就不同，x 就可以被压缩。 
3. 问题出来了，压缩布隆过滤器的原因是更节省空间，我们找了个更大的布隆过滤器压缩，那么压缩后的布隆过滤器的空间效率比原布隆过滤器更加优秀吗？是的。
4. 压缩后，布隆过滤器的本地存储空间会变大，但哈希函数数量会变小（更少的映射操作）、传送的位更少。

1. 将一个哈希表分成几个不相交的子表（subtable）
2. 每个子表里都有数量相同的桶（bucket）
3. 每个桶里都有一定数量的单元（cell，单元包括特征值和计数值）
4. 每个单元都是固定的位数组成，用来保存元素的特征值（fingerprint）
5. 只有一个哈希函数，该哈希函数可以生成和子表数量相同的桶地址和一个特征值

1. 假设 d-left counting bloom filter 包含 4 个子表，每个子表又包含 4 个桶，初始为空。
2. 现在有两个元素 x 和 y 需要映射到过滤器中，f(x) = (1, 1, 1, 1，r), f(y) = (1, 2, 3, 4, r)
3. 已知插如 x 时，第四个子表的第一个桶最空，x 的特征值 r 被插入该桶的某一个单元中，该单元计数值变为1，而插入 y 时，第一个子表的第一个桶最空，y 的特征值 r 被插入该桶的某一个单元中，该单元计计数值变为1
4. 现在要删除 x，那么就会寻找每个子表的第一个桶中的单元，这时，在第一个子表的第一个桶中找到了特征值 r，接下来就会将该单元的计数值减 1 变为 0，同时，存储的特征值被删除，变为空。
5. 现在查找 x 是否在表中，结果返回真，而查询 y 是否在表中，结果返回假，导致错误。  

1. x 和 y 有相同的特征值 r 
2. f(x) 和 f(y) 生成的地址有相同的
3. x 和 y 特征值存储的地方还不一样（存一样就不会出错） 

1. DCBF由两部分组成，第一部分是基础的计算布隆过滤器
2. 第二部分是一个同样大小的向量，用于记录第一部分中计算器溢出的次数 
3. 第一部分中的计算器位数固定，第二部分中每个溢出计算器位数动态改变

1. 当第二部分溢出计算器也面临溢出时，会重新申请一个向量，给要溢出部分增加位数，其他溢出计算器直接拷贝到新的向量中的对应位置，旧的向量会被释放