标签:webcollector 爬虫 网页抽取 网页解析 java爬虫
简介:
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。
如何将WebCollector导入项目请看下面这个教程:
JAVA网络爬虫WebCollector深度解析——爬虫内核
参数:
WebCollector无需繁琐配置,只要在代码中给出下面几个必要参数,即可启动爬虫:
1.种子(必要):
种子即爬虫的起始页面。一个爬虫可添加一个或多个种子。
2.正则(可选):
正则是约束爬取范围的一些正则式。正则不一定要给出。如果用户没有给出正则,系统会自动将爬取范围限定在种子的域名内。
3.线程数(可选):
WebCollector是一个多线程的爬虫,默认使用10个线程同时工作。开发者可以自定义线程数。
需求:
简述一下教程里代码的功能:定制一个爬虫,对“知乎”网站进行爬取,不要求下载所有的网页和文件,而是要求对知乎中所有的“提问”页面中的”问题“进行提取。如图:
我们需要提取问题标题:“看了《蝙蝠侠》,如果我闯进纽交所,逼迫所有人卖掉他手里的所有的股票期货债券什么的,会有什么毁灭性后果?",
以及问题的内容:“咱不讨论这可行性,我就想听听这有什么毁灭性那个的后果么?再比如百度,58,新东方什么的在那上市的中国公司?再比如会对其他的比如伦敦交易所什么的影响?中国股市的影响?再比如对其他货币的影响之类的?“
代码:
代码分为两部分,爬取器和控制器。
爬取器通过Override父类中的visit方法(即对每个正在爬取的页面需要进行的操作),来定制自己的爬取任务。
控制器通过给爬取器设置参数(上面所说的种子、正则、线程数),启动爬取器来完成控制功能。
1.爬取器:
WebCollector中集成了多种爬取器(主要是遍历算法不同),最常用的遍历器是BreadthCrawler,它是基于广度遍历的算法进行爬取的。我们新建一个JAVA类ZhihuCrawler,继承BreadthCrawler,来定制我们的爬取器。
public class ZhihuCrawler extends BreadthCrawler{ /* visit函数定制访问每个页面时所需进行的操作 */ @Override public void visit(Page page) { String question_regex="^http://www.zhihu.com/question/[0-9]+"; if(Pattern.matches(question_regex, page.url)){ System.out.println("正在抽取"+page.url); String title=page.doc.title(); System.out.println(title); String question=page.doc.select("div[id=zh-question-detail]").text(); System.out.println(question); } } }
《知乎》中有很多种网页:提问网页、用户个人信息网页、专页。我们现在只要对提问网页进行操作。
提问网页的URL一般如下:http://www.zhihu.com/question/21962447
question_regex是所有提问网页的正则表达式,代码中:
if(Pattern.matches(question_regex, page.url)){ //操作代码 }
visit函数的参数Page page,是一个已经爬取并解析成DOM树的页面。Page的源码:
package cn.edu.hfut.dmic.webcollector.model; import java.util.List; import java.util.Map; import org.jsoup.nodes.Document; /** *Page表示一个Web页面 */ public class Page{ public String url=null; public byte[] content=null; public Map<String,List<String>> headers; public String html=null; public Document doc=null; public int status; public long fetchtime; public static final int UNFETCHED=1; public static final int FETCHED=2; }
content是网页的源码字节数组(其实是网页/文件的字节码,大部分情况下可以认为是网页源码)。
headers是爬取时的http响应头信息。
html是网页源码字符串(如果html不为null,即为经过编码识别后转换的html源码)。
doc(DOM树),这里的doc是JSOUP的Document,如果需要做HTML解析、抽取,使用doc是不二的选择,关于doc的使用方法,可参考JSOUP的教程:
http://www.open-open.com/jsoup/selector-syntax.htm
status表示网页的抓取状态,status的取值可以是UNFETCHED(未抓取)或者FETCHED(已抓取)。
fetchtime表示网页抓取的时间,是通过System.currentTimeMillis()方法获取的系统时间。
ZhihuCrawler中用到了page.url和page.doc。
我们可以发现,《知乎》提问页面的网页标题就是问题的标题,所以通过:
String title=page.doc.title();就获取了提问标题。
抽取《知乎》提问页面的提问内容,需要从HTML源码观察规则:
<div data-action="/question/detail" data-resourceid="965792" class="zm-item-rich-text" id="zh-question-detail"> <div class="zm-editable-content">咱不讨论这可行性,我就想听听这有什么毁灭性那个的后果么?<br> 再比如百度,58,新东方什么的在那上市的中国公司?<br> 再比如会对其他的比如伦敦交易所什么的影响?中国股市的影响?<br>再比如对其他货币的影响之类的? </div> </div>
对于《知乎》所有的提问界面,我们发现,提问内容都被放在一个id="zh-question-detail"的div中,这是JSOUP最适合适用的一种情况。我们只要找到这个div,将其中的文本(text)取出即可:
String question=page.doc.select("div[id=zh-question-detail]").text();
2.控制器:
我们需要一个控制器来启动爬取器:
public class Controller { public static void main(String[] args) throws IOException{ ZhihuCrawler crawler=new ZhihuCrawler(); crawler.addSeed("http://www.zhihu.com/question/21003086"); crawler.start(5); } }
首先实例化刚定义的ZhihuCrawler(爬取器)。
给爬取器一个种子:http://www.zhihu.com/question/21003086
crawler.start(5)并不是表示开启5个线程爬取,5表示爬取的深度(广度遍历的层数)。
运行Controller这个类,会发现不断有输出产生,但是输出比较杂乱,这是因为我们不仅输出了我们抽取的提问,还输出了爬虫的日志(爬取记录等):
fetch:http://www.zhihu.com/people/lxjts fetch:http://www.zhihu.com/question/24597698 正在抽取http://www.zhihu.com/question/24597698 小米4采用304不锈钢除了提升质感和B格,还有其他的实际好处么? - 知乎 信号会不会跟ip4一样悲剧了…… fetch:http://www.zhihu.com/topic/20006139 fetch:http://www.zhihu.com/topic/19559450 fetch:http://www.zhihu.com/question/20014415# fetch:http://www.zhihu.com/collection/31102864 fetch:http://www.zhihu.com/topic/19663238 fetch:http://www.zhihu.com/collection/20021567上面的输出片段中,我们可以看到一次visit函数的执行,访问了http://www.zhihu.com/question/24597698 ,对问题的标题进行了抽取:“小米4采用304不锈钢除了提升质感和B格,还有其他的实际好处么? - 知乎”,同时也抽取了问题的内容:“信号会不会跟ip4一样悲剧了……“。
如果您想看到干净的爬取结果,有下面几种解决方案:
1.在ZhihuCrawler的visit方法里,添加代码,将title和question字符串输出到文件中。
2.在ZhihuCrawler的visit方法里,添加代码,将title和question字符串提交到数据库(推荐)。
可能有人会疑问,为什么我们给爬虫添加种子的时候不添加《知乎》的首页,这是因为《知乎》首页在不登录的情况下会默认返回登录页面。
用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫(JAVA)
标签:webcollector 爬虫 网页抽取 网页解析 java爬虫
原文地址:http://blog.csdn.net/ajaxhu/article/details/38147111