标签:bloomfilter 网络爬虫 spider url去重
最近被网络爬虫中的去重策略所困扰。使用一些其他的“理想”的去重策略,不过在运行过程中总是会不太听话。不过当我发现了BloomFilter这个东西的时候,的确,这里是我目前找到的最靠谱的一种方法。
如果,你说URL去重嘛,有什么难的。那么你可以看完下面的一些问题再说这句话。
Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,它具有很好的空间和时间效率,被用来检测一个元素是不是集合中的一个成员。如果检测结果为是,该元素不一定在集合中;但如果检测结果为否,该元素一定不在集合中。因此Bloom filter具有100%的召回率。这样每个检测请求返回有“在集合内(可能错误)”和“不在集合内(绝对不在集合内)”两种情况,可见
Bloom filter 是牺牲了正确率以节省空间。
(1)对于在数据库中创建字段的UNIQUE属性, 的确是可以避免一些重复性操作。不过在多次MySQL报错之后,程序可能会直接崩溃,因此这种方式不可取
(2)如果我们要在每一次插入数据之前都去检查待插入的数据是否存在,这样势必会影响程序的效率
(3)这种方式是我在第一次尝试的时候使用的,放弃继续使用的原因是:OOM。当然,这里并不是程序的内存泄露,而程序中真的有这么多内存需要被占用(因为从待访问队列中解析出来的URL要远比它本身要多得多)
(4)在前几篇博客中,我就有提到使用Map对象来保存URL的访问信息。不过,现在我要否定它。因为,在长时间运行之后,Map也是会占用大量的内存。只不过,会比第3种方式要小一些。下面是使用Map<Integer, Integer>去重,在长时间运行中内存的使用情况:
此处关于BloomFilter的Java代码部分,参考于:http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html
如果你看了上面的文章,相信你已经了解到布隆过滤器的空间复杂度是S(n)=O(n)。关于这一点,相信你已经从上面的内存使用情况中了解到了这一点。那么以下会是一些相关的Java代码展示。而在查重过程也很有效率,时间复杂度是T(n)=O(1)。
BloomFilter.java
import java.util.BitSet; public class BloomFilter { /* BitSet初始分配2^24个bit */ private static final int DEFAULT_SIZE = 1 << 25; /* 不同哈希函数的种子,一般应取质数 */ private static final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 }; private BitSet bits = new BitSet(DEFAULT_SIZE); /* 哈希函数对象 */ private SimpleHash[] func = new SimpleHash[seeds.length]; public BloomFilter() { for (int i = 0; i < seeds.length; i++) { func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]); } } // 将字符串标记到bits中 public void add(String value) { for (SimpleHash f : func) { bits.set(f.hash(value), true); } } // 判断字符串是否已经被bits标记 public boolean contains(String value) { if (value == null) { return false; } boolean ret = true; for (SimpleHash f : func) { ret = ret && bits.get(f.hash(value)); } return ret; } /* 哈希函数类 */ public static class SimpleHash { private int cap; private int seed; public SimpleHash(int cap, int seed) { this.cap = cap; this.seed = seed; } // hash函数,采用简单的加权和hash public int hash(String value) { int result = 0; int len = value.length(); for (int i = 0; i < len; i++) { result = seed * result + value.charAt(i); } return (cap - 1) & result; } } }
public class Test { private final String[] URLS = { "http://www.csdn.net/", "http://www.baidu.com/", "http://www.google.com.hk", "http://www.cnblogs.com/", "http://www.zhihu.com/", "https://www.shiyanlou.com/", "http://www.google.com.hk", "https://www.shiyanlou.com/", "http://www.csdn.net/" }; private void testBloomFilter() { BloomFilter filter = new BloomFilter(); for (int i = 0; i < URLS.length; i++) { if (filter.contains(URLS[i])) { System.out.println("contain: " + URLS[i]); continue; } filter.add(URLS[i]); } } public static void main(String[] args) { Test t = new Test(); t.testBloomFilter(); } }
public class ParserRunner implements Runnable { private SpiderSet mResultSet = null; private WebInfoModel mInfoModel = null; private int mIndex; private final boolean DEBUG = false; private SpiderBloomFilter mFlagBloomFilter = null; public ParserRunner(SpiderSet set, WebInfoModel model, int index, SpiderBloomFilter filter) { mResultSet = set; mInfoModel = model; mIndex = index; mFlagBloomFilter = filter; } @Override public void run() { long t = System.currentTimeMillis(); SpiderQueue tmpQueue = new SpiderQueue(); PythonUtils.fillAddressQueueByPython(tmpQueue, mInfoModel.getAddress(), mInfoModel.getLevel()); WebInfoModel model = null; while (!tmpQueue.isQueueEmpty()) { model = tmpQueue.poll(); if (model == null || mFlagBloomFilter.contains(model.getAddress())) { continue; } mResultSet.add(model); mFlagBloomFilter.add(model.getAddress()); } tmpQueue = null; model = null; System.err.println("Thread-" + mIndex + ", UsedTime-" + (System.currentTimeMillis() - t) + ", SetSize = " + mResultSet.size()); t = 0; } @SuppressWarnings("unused") private void sleep(long millis) { try { Thread.sleep(millis); } catch (InterruptedException e) { e.printStackTrace(); } } }如果你看过我之前的博客,那么上面的这一段代码相信你会比较熟悉。
这段代码的功能是:生产者。从待访问队列中消费一个model,然后调用Python生产链接的列表Queue,并将生成的列表Queue offer到结果SpiderSet中。
版权声明:本文为博主原创文章,未经博主允许不得转载。http://blog.csdn.net/lemon_tree12138
网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用
标签:bloomfilter 网络爬虫 spider url去重
原文地址:http://blog.csdn.net/lemon_tree12138/article/details/47973715