webmagic加上了注解支持

标签：

今天有个网友在博客回帖，能不能用注解来写一个爬虫？想了想，因为Javaer总习惯结果有个对象Model(我在自己用的时候也是这样)，ResultItems的key-value形式难免会有点麻烦，何不将抽取和Model合为一体呢？好了！现在爬osc博客只有这点代码了！而且这个对象本身是可以继续使用的！


@TargetUrl("http://my.oschina.net/flashsword/blog/*")
public class OschinaBlog {

    @ExtractBy("//title")
    private String title;

    @ExtractBy(value = "div.BlogContent",type = Fetcher.Type.Css)
    private String content;

    @ExtractBy(value = "//div[@class=‘BlogTags‘]/a/text()", multi = true)
    private List<String> tags;

}

这里这个TargetUrl有两个意思：一个是符合这个url的交由这个Page处理，另一个是符合这样的url都会被抓取。怎么样？是不是很巧妙？另外为了方便，这里使用了类似正则的通配符形式(其实最终会编译成正则，只不过把”.“转义成了”\.“)。

考虑到一些更复杂的情况，例如：一个页面可能对应多个实体类(列表页视图)，后面又做了一些更新，比如下面是一段抽取oschina问答的所有回答的代码：


@TargetUrl("http://www.oschina.net/question/\\d+_\\d+*")
@HelpUrl("http://www.oschina.net/question/*")
@ExtractBy(value = "//ul[@class=‘list‘]/li[@class=‘Answer‘]", multi = true)
public class OschinaAnswer{

    @ExtractBy("//img/@title")
    private String user;

    @ExtractBy("//div[@class=‘detail‘]")
    private String content;

    public static void main(String[] args) {
        OOSpider.create(Site.me().addStartUrl("http://www.oschina.net/question/567527_120597"), OschinaAnswer.class).run();
    }
}

咦？当自己写完这堆处理代码的时候，才发现webmagic完全变成了Spiderman的一个注解版本。再看了一下Spiderman的sample，人家还内置了一套表达式引擎！

没关系，回到设计的初衷上来。Spiderman的设计是一个All-in-one的框架，提倡不写代码；而webmagic则是一个easy to build-in的框架，目标就是用代码实现爬虫，只不过少写点代码。不支持表达式引擎？没关系！复杂的逻辑，咱们可以写代码嘛！于是很简单的定义了一个AfterExtractor接口，在抽取完后，会调用这个接口：


    @TargetUrl("http://my.oschina.net/flashsword/blog/*")
public class OschinaBlog implements AfterExtractor {

    @ExtractBy("//title")
    private String title;

    @ExtractBy(value = "div.BlogContent", type = ExtractBy.Type.Css)
    private String content;

    @ExtractBy(value = "//div[@class=‘BlogTags‘]/a/text()", multi = true)
    private List<String> tags;

    @Override
    public void afterProcess(Page page) {
        System.out.println("title:\t"+title);
        System.out.println("content:\t"+content);
        System.out.println("tags:\t" + tags);
    }

    public static void main(String[] args) {
        OOSpider.create(Site.me().addStartUrl("http://my.oschina.net/flashsword/blog/145796"), OschinaBlog.class).run();
    }
}

public void afterProcess(Page page) 这个函数能做PageProcessor所有能做的事情。我想这段代码也不用咱说明了吧。个人还是比较满意的。

使用这个方式，结合JFinal，轻易实现了结果持久化到数据库的任务，代码：http://www.oschina.net/code/snippet_190591_23456。

值得一提的是，以上代码都没有修改底层的核心模块划分，以前手写PageProcessor的方式依然是有效的。看来一个良好的前期规划是很有必要的！

代码目前在https://github.com/code4craft/webmagic annotation分支上，后续测试稳定后回合并到主干。

webmagic加上了注解支持

标签：

原文地址：http://www.cnblogs.com/timdes/p/5150097.html