布隆过滤器用于字符串去重复，比如网络爬虫抓取时URL去重、邮件提供商反垃圾黑名单Email地址去重。等等。用哈希表也可以用于元素去重，但是占用空间比较大，而且空间使用率只有50%。 布隆过...
分类：
Web程序 时间：
2015-11-12 13:48:16
阅读次数：
294
最近被网络爬虫中的去重策略所困扰。使用一些其他的“理想”的去重策略，不过在运行过程中总是会不太听话。不过当我发现了BloomFilter这个东西的时候，的确，这里是我目前找到的最靠谱的一种方法。...
分类：
Web程序 时间：
2015-08-25 23:49:05
阅读次数：
212
爬虫抓取网页过程中,会产生很多的问题,当然最重要的一个问题就是重复问题,网页的重复抓取.最简单的方式就是对url去重.已经抓取过的url不再抓取.但是其实在实际业务中是需要对于已经抓取过的URL进行再次抓...
分类：
Web程序 时间：
2015-08-10 20:25:02
阅读次数：
146
Bloom Filter（BF） 是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法，用于**快速**查找某个元素是否属于集合， 但不要求百分百的准确率。 Bloom filter通常用于爬虫的url去重，即判断某个url是否已经被爬过。 看过几个php实现的BF，都觉得可读性不是很强， 本文主要给出我对Bloom Filter的一个php实现。...
分类：
Web程序 时间：
2015-07-24 20:53:40
阅读次数：
188
有些关于URL去重的方面代码没有提供，需要自己去实现。主要这里提供思路
首先爬虫入口类：
public class PervadeSpider {
public static void main(String[] args) {
CrawTaskBuilder builder = CrawlManager.getInstance()
...
分类：
其他好文 时间：
2015-07-02 14:08:38
阅读次数：
136
import socketdictlist ={};def ReadHost(): hosts = []; obn = open('d:/sss.txt', 'rb'); for line in obn: #sometime you should filter \r\...
分类：
其他好文 时间：
2014-06-28 21:53:30
阅读次数：
234
