有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
package com.mengyao.webmagic.test1;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import us.codecraft.webmagic.Page;import us.codecraft.webmag...
分类：
Web程序 时间：
2015-08-30 23:01:13
阅读次数：
385
WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发.....
分类：
Web程序 时间：
2015-08-30 22:50:34
阅读次数：
296
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。以下是爬取oschina博客的一段代码：?12Spider.create(newSimplePageProcessor("http://my.oschina.net/","http://m...
分类：
Web程序 时间：
2015-08-11 07:09:14
阅读次数：
360
网站是 电影之家，
前前后侯花了半年的时间（但真正的开发时间应该是不到一个月的,涉及技术（webmagic，SSI框架，阿里云服务，mysql，freeMarker，bootStrap3.0，Jquery）），
因为平常要上班，周末又想多休息。所以搞了那么久。
网站中运用到的技术就是标题上的那些，还有一些小的东西可能我都忘记了。
建站也是第一次，所以从申请域名 ，备案，购买服务器，上传代码...
分类：
数据库 时间：
2015-07-24 14:25:09
阅读次数：
215
【猪猪-后端】WebMagic框架搭建的爬虫，根据自定义规则，直接抓取，使用灵活，Demo部署即可查看。
源代码下载地址：http://www.zuidaima.com/share/1581523414404096.htm...
分类：
Web程序 时间：
2015-07-19 11:59:21
阅读次数：
166
目标：统计斗鱼(www.douyu.com)人数思路：1. 目录找到douyu播出的所有游戏http://www.douyutv.com/directory2. 借助 chrome 定位到每个游戏的目录页面，正则表达式为 /directory/game/\\w+ 比如对于LOL来说，找到 href=...
分类：
Web程序 时间：
2015-05-10 01:01:12
阅读次数：
311
本文转载至 http://www.tuicool.com/articles/VZBj2e原文http://itindex.net/detail/52388-框架webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。官方网站http://web...
分类：
其他好文 时间：
2015-01-04 18:39:12
阅读次数：
217
开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？...
分类：
其他好文 时间：
2014-12-24 14:42:27
阅读次数：
254
