标签:
官方有详细的使用文档:http://webmagic.io/docs/zh/
简介:这只是个java爬虫框架,具体使用需要个人去定制,没有图片验证,不能获取js渲染的网页,但简单易用,可以通过xpath和css选择符获取网页内容,官方也有超详细的文档,适合爬取简单的网页和新手学习爬虫。图片验证和js渲染网页获取都可以后来添加进去。使用webmagic这个框架,可以减少很多需要自己写的代码,从而专注于网页分析获取和储存的地方。
使用:
标签:
原文地址:http://www.cnblogs.com/zhuzhixijiang/p/5656706.html