码迷,mamicode.com
首页 > 编程语言 > 详细

用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫(JAVA)

时间:2014-07-27 11:50:23      阅读:424      评论:0      收藏:0      [点我收藏+]

标签:webcollector   爬虫   网页抽取   网页解析   java爬虫   

简介:

WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。

如何将WebCollector导入项目请看下面这个教程:

JAVA网络爬虫WebCollector深度解析——爬虫内核


参数:

WebCollector无需繁琐配置,只要在代码中给出下面几个必要参数,即可启动爬虫:

1.种子(必要):

种子即爬虫的起始页面。一个爬虫可添加一个或多个种子。

2.正则(可选):

正则是约束爬取范围的一些正则式。正则不一定要给出。如果用户没有给出正则,系统会自动将爬取范围限定在种子的域名内。

3.线程数(可选):

WebCollector是一个多线程的爬虫,默认使用10个线程同时工作。开发者可以自定义线程数。


需求:

简述一下教程里代码的功能:定制一个爬虫,对“知乎”网站进行爬取,不要求下载所有的网页和文件,而是要求对知乎中所有的“提问”页面中的”问题“进行提取。如图:

bubuko.com,布布扣

我们需要提取问题标题:“看了《蝙蝠侠》,如果我闯进纽交所,逼迫所有人卖掉他手里的所有的股票期货债券什么的,会有什么毁灭性后果?",

以及问题的内容:“咱不讨论这可行性,我就想听听这有什么毁灭性那个的后果么?再比如百度,58,新东方什么的在那上市的中国公司?再比如会对其他的比如伦敦交易所什么的影响?中国股市的影响?再比如对其他货币的影响之类的?“


代码:

代码分为两部分,爬取器和控制器。

爬取器通过Override父类中的visit方法(即对每个正在爬取的页面需要进行的操作),来定制自己的爬取任务。

控制器通过给爬取器设置参数(上面所说的种子、正则、线程数),启动爬取器来完成控制功能。

1.爬取器:

WebCollector中集成了多种爬取器(主要是遍历算法不同),最常用的遍历器是BreadthCrawler,它是基于广度遍历的算法进行爬取的。我们新建一个JAVA类ZhihuCrawler,继承BreadthCrawler,来定制我们的爬取器。

public class ZhihuCrawler extends BreadthCrawler{

    /*
        visit函数定制访问每个页面时所需进行的操作
    */
    @Override
    public void visit(Page page) {
        String question_regex="^http://www.zhihu.com/question/[0-9]+";
        if(Pattern.matches(question_regex, page.url)){
            System.out.println("正在抽取"+page.url);
            String title=page.doc.title();
            System.out.println(title);
            String question=page.doc.select("div[id=zh-question-detail]").text();
            System.out.println(question);
            
        }
    }
  
}

代码解析:

《知乎》中有很多种网页:提问网页、用户个人信息网页、专页。我们现在只要对提问网页进行操作。

提问网页的URL一般如下:http://www.zhihu.com/question/21962447

question_regex是所有提问网页的正则表达式,代码中:

if(Pattern.matches(question_regex, page.url)){
          //操作代码 
}

保证我们只对“提问”页面进行抽取。

visit函数的参数Page page,是一个已经爬取并解析成DOM树的页面。Page的源码:

package cn.edu.hfut.dmic.webcollector.model;

import java.util.List;
import java.util.Map;
import org.jsoup.nodes.Document;

/**
*Page表示一个Web页面
*/
public class Page{
    
    public String url=null;
    public byte[] content=null;
    public Map<String,List<String>> headers;
    public String html=null;
    public Document doc=null;
    public int status;
    public long fetchtime;
    
    public static final int UNFETCHED=1;
    public static final int FETCHED=2;
    
}

url指网页的url。

content是网页的源码字节数组(其实是网页/文件的字节码,大部分情况下可以认为是网页源码)。

headers是爬取时的http响应头信息。

html是网页源码字符串(如果html不为null,即为经过编码识别后转换的html源码)。

doc(DOM树),这里的doc是JSOUP的Document,如果需要做HTML解析、抽取,使用doc是不二的选择,关于doc的使用方法,可参考JSOUP的教程:

http://www.open-open.com/jsoup/selector-syntax.htm

status表示网页的抓取状态,status的取值可以是UNFETCHED(未抓取)或者FETCHED(已抓取)。

fetchtime表示网页抓取的时间,是通过System.currentTimeMillis()方法获取的系统时间。

ZhihuCrawler中用到了page.url和page.doc。

我们可以发现,《知乎》提问页面的网页标题就是问题的标题,所以通过:

String title=page.doc.title();
就获取了提问标题。

抽取《知乎》提问页面的提问内容,需要从HTML源码观察规则:

<div data-action="/question/detail" data-resourceid="965792" class="zm-item-rich-text" id="zh-question-detail">
    <div class="zm-editable-content">咱不讨论这可行性,我就想听听这有什么毁灭性那个的后果么?<br>
      再比如百度,58,新东方什么的在那上市的中国公司?<br>
      再比如会对其他的比如伦敦交易所什么的影响?中国股市的影响?<br>再比如对其他货币的影响之类的?
    </div>
</div>


对于《知乎》所有的提问界面,我们发现,提问内容都被放在一个id="zh-question-detail"的div中,这是JSOUP最适合适用的一种情况。我们只要找到这个div,将其中的文本(text)取出即可:

String question=page.doc.select("div[id=zh-question-detail]").text();


2.控制器:

我们需要一个控制器来启动爬取器:


public class Controller {
    
    public static void main(String[] args) throws IOException{   
        ZhihuCrawler crawler=new ZhihuCrawler();
        crawler.addSeed("http://www.zhihu.com/question/21003086");
        crawler.start(5);   
    }
}


首先实例化刚定义的ZhihuCrawler(爬取器)。

给爬取器一个种子:http://www.zhihu.com/question/21003086

crawler.start(5)并不是表示开启5个线程爬取,5表示爬取的深度(广度遍历的层数)。

运行Controller这个类,会发现不断有输出产生,但是输出比较杂乱,这是因为我们不仅输出了我们抽取的提问,还输出了爬虫的日志(爬取记录等):

fetch:http://www.zhihu.com/people/lxjts
fetch:http://www.zhihu.com/question/24597698
正在抽取http://www.zhihu.com/question/24597698
小米4采用304不锈钢除了提升质感和B格,还有其他的实际好处么? - 知乎
信号会不会跟ip4一样悲剧了……
fetch:http://www.zhihu.com/topic/20006139
fetch:http://www.zhihu.com/topic/19559450
fetch:http://www.zhihu.com/question/20014415#
fetch:http://www.zhihu.com/collection/31102864
fetch:http://www.zhihu.com/topic/19663238
fetch:http://www.zhihu.com/collection/20021567
上面的输出片段中,我们可以看到一次visit函数的执行,访问了http://www.zhihu.com/question/24597698 ,对问题的标题进行了抽取:“小米4采用304不锈钢除了提升质感和B格,还有其他的实际好处么? - 知乎”,同时也抽取了问题的内容:“信号会不会跟ip4一样悲剧了……“。
"fetch:http://www.zhihu.com/question/24597698"是日志的输出,表示一个已经爬取的网页。


如果您想看到干净的爬取结果,有下面几种解决方案:

1.在ZhihuCrawler的visit方法里,添加代码,将title和question字符串输出到文件中。

2.在ZhihuCrawler的visit方法里,添加代码,将title和question字符串提交到数据库(推荐)。


可能有人会疑问,为什么我们给爬虫添加种子的时候不添加《知乎》的首页,这是因为《知乎》首页在不登录的情况下会默认返回登录页面。




用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫(JAVA)

标签:webcollector   爬虫   网页抽取   网页解析   java爬虫   

原文地址:http://blog.csdn.net/ajaxhu/article/details/38147111

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!