最近被网络爬虫中的去重策略所困扰。使用一些其他的“理想”的去重策略，不过在运行过程中总是会不太听话。不过当我发现了BloomFilter这个东西的时候，的确，这里是我目前找到的最靠谱的一种方法。...
分类：
Web程序 时间：
2015-08-25 23:49:05
阅读次数：
212
[1451] Elise
时间限制: 1000 ms 内存限制: 65535 K
问题描述
Elise is the
Spider Queen. She has a skill, Spider
Form(蜘蛛形态).
When she transformed to the spider, there will be some small spiders arou...
分类：
其他好文 时间：
2015-08-25 23:46:02
阅读次数：
238
import scrapyfrom goose import Gooseclass Article(scrapy.Item): title = scrapy.Field() text = scrapy.Field()class MyGooseSpider(scrapy.Spider): ...
分类：
其他好文 时间：
2015-08-25 19:29:45
阅读次数：
492
运用apache?httpclient爬数据、httpcleaner解析爬回来的数据： package?cn.sniper.spider.util;
import?java.io.FileOutputStream;
import?java.io.IOException;
import?java.io.InputStream;
import?java....
分类：
其他好文 时间：
2015-08-18 12:30:47
阅读次数：
191
经过前面两篇文章，你想大家应该已经知道网络爬虫是怎么一回事了。这篇文章会在之前做过的事情上做一些改进，以及说明之前的做法的不足之处。...
分类：
编程语言 时间：
2015-08-17 19:34:34
阅读次数：
309
原题链接：http://codeforces.com/gym/100523/attachments/download/2798/20142015-ct-s02e07-codeforces-trainings-season-2-episode-7-en.pdf题意给你一堆三维点，问你他们是否共面题解模...
分类：
其他好文 时间：
2015-08-14 20:54:36
阅读次数：
168
demo代码： package?cn.sniper.spider.util;
import?java.io.FileOutputStream;
import?java.io.IOException;
import?java.io.InputStream;
import?java.net.MalformedURLException;
import?java.net.URL;...
分类：
其他好文 时间：
2015-08-12 13:29:49
阅读次数：
117
spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。其中配置文件格式为：?123456789101112131415161718192021222324252627282930313233343536373839404142434445http:/...
分类：
Web程序 时间：
2015-08-11 07:13:22
阅读次数：
142
Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。 Arachnid的下载包中包含两个spide...
分类：
Web程序 时间：
2015-08-11 07:13:08
阅读次数：
121
开源爬虫Labin，Nutch，Neritrix介绍和对比 2 6 从网上找了一些开源spider的相关资料，整理在下面： Larbin开发语言：C++http://larbin.sourceforge.net/index-eng.htmllarbin是个基于C++的web爬虫工具，拥有易于操...
分类：
其他好文 时间：
2015-08-11 07:10:25
阅读次数：
144
