为大家推荐一款非常好用的java写的垂直爬虫webmagic,力挺,非常好用...
分类：
编程语言 时间：
2014-12-03 23:23:37
阅读次数：
418
WebCollector论坛每10分钟，会推送可用代理，这些代理都是在推送前几分钟通过测试的代理。
爬虫使用最新的代理，可以大大减少自己清洗代理的时间。
代理推送地址：
http://www.brieftools.info/bbs/index.php?c=thread&fid=12...
分类：
Web程序 时间：
2014-11-07 23:31:25
阅读次数：
332
用WebCollector爬取网站的图片。
我们爬取一个美食网站，获取里面所有的图片。...
分类：
Web程序 时间：
2014-11-06 00:48:25
阅读次数：
303
Introduction：
这个小demo用于爬取淘宝网的相关链接。
首先从“www.taobao.com"这个url开始，手机页面上的所有url，然后存入toCrawList 。当toCrawList不为空时，拿出一个url,把它存入数据集并且搜寻这个url上的所有链接充入toCrawList. 这是一个BFS过程。
Framework:
Code:
就网络爬虫来讲这个de...
分类：
编程语言 时间：
2014-10-09 18:49:37
阅读次数：
345
本文利用WebCollector内核的解析，来描述如何设计一个网络爬虫。
WebCollector使用了Nutch的爬取逻辑（分层广度遍历），Crawler4j的的用户接口（覆盖visit方法，定义用户操作）,以及一套自己的插件机制，设计了一套爬虫内核。...
分类：
Web程序 时间：
2014-09-27 13:36:09
阅读次数：
687
很多企业要求利用爬虫去爬取商品信息，但是他们大多数并没有选择nutch、crawler4j这样的爬虫框架，而是自己重新开发一套爬虫。其实nutch、crawler4j这种基于广度遍历的框架是完全可以完成商品爬取这种业务的，只需要通过简单的转换既可。...
分类：
编程语言 时间：
2014-09-22 15:47:02
阅读次数：
4678
JAVA爬虫WebCollector教程列表
入门教程：
WebCollector入门教程（中文版）
用WebCollector对指定URL进行爬取和解析
JAVA爬虫Nutch、WebCollector的正则约束
实例：
用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）
内核：
利用WebCollector爬虫...
分类：
编程语言 时间：
2014-08-28 14:52:39
阅读次数：
453
每种爬虫的正则约束系统都有一些区别，这里拿Nutch、WebCollector两家爬虫的正则系统做对比。爬虫爬取时，需要约束爬取的范围。基本所有的爬虫都是通过正则表达式来完成这个约束................
分类：
编程语言 时间：
2014-08-28 13:18:59
阅读次数：
569
import java.awt.BorderLayout;import java.awt.Cursor;import java.awt.Font;import java.awt.GridBagConstraints;import java.awt.GridBagLayout;import java....
分类：
编程语言 时间：
2014-07-31 12:50:26
阅读次数：
318
