码迷,mamicode.com
首页 > Web开发 > 详细

爬虫框架--webmagic

时间:2016-07-09 22:08:35      阅读:183      评论:0      收藏:0      [点我收藏+]

标签:

官方有详细的使用文档:http://webmagic.io/docs/zh/ 

简介:这只是个java爬虫框架,具体使用需要个人去定制,没有图片验证,不能获取js渲染的网页,但简单易用,可以通过xpath和css选择符获取网页内容,官方也有超详细的文档,适合爬取简单的网页和新手学习爬虫。图片验证和js渲染网页获取都可以后来添加进去。使用webmagic这个框架,可以减少很多需要自己写的代码,从而专注于网页分析获取和储存的地方。

 

使用:

 

爬虫框架--webmagic

标签:

原文地址:http://www.cnblogs.com/zhuzhixijiang/p/5656706.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!