1 /** 2 * 使用搜狗搜索检索关键字并爬取结果集的标题 3 * @author tele 4 * 5 */ 6 public class SougouCrawler extends RamCrawler{ 7 8 public SougouCrawler() { 9 10 } 11 12 pu... ...
分类：
Web程序 时间：
2018-08-13 12:10:17
阅读次数：
160
使用webcollector时出现了如下异常 分析是依赖的问题,不仅要添加selenium-java,还要添加htmlunit-driver的依赖,注意不要添加成selenium-htmlunit-driver 添加htmlunit-driver后,异常解决 ...
分类：
编程语言 时间：
2018-08-05 18:10:27
阅读次数：
536
Java之网络爬虫WebCollector2.1.2+selenium2.44+phantomjs2.1.1 一、简介 版本匹配： WebCollector2.12 + selenium2.44.0 + phantomjs 2.1.1 动态网页爬取: WebCollector + selenium ...
分类：
编程语言 时间：
2018-07-27 12:13:14
阅读次数：
154
一、WebCollector介绍 二、WebCollector使用 1.下载地址：http://crawlscript.github.io/WebCollector/下载到CrawlScript-WebCollector-169931a.zip，解压后在webcollector-2.73-alpha ...
分类：
编程语言 时间：
2018-07-26 13:12:34
阅读次数：
233
1. 爬虫的分类：分布式和单机 分布式主要就是apache的nutch框架，java实现，依赖hadoop运行，学习难度高，一般只用来做搜索引擎开发。 java单机的框架有：webmagic和webcollector以及crawler4j python单机的框架：scrapy和pyspider 2. ...
分类：
编程语言 时间：
2018-07-14 13:00:49
阅读次数：
842
全站克隆是一件很有意思的事情，需要满足许多条件。 需要保证文件能够静态访问，这就要求html文件中的路径都是相对路径。 涉及到html文件的链接改写过程，因为不改写链接，本地访问时还是会加载网站上的资源。 一个大坑：如果没有禁用重定向，会产生死循环。 你访问a页面，a包含b，b被重定向到a，那么就会 ...
分类：
Web程序 时间：
2018-01-27 11:43:03
阅读次数：
367
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其它的？这里依照我的经验随便扯淡一下： 上面说的爬虫，基本能够分3类： 1.分布式爬虫：Nutch 2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollec ...
分类：
其他好文 时间：
2017-08-05 19:44:45
阅读次数：
183
非常多业务须要下载整站页面（有时为多个站点）。将页面依照站点拓扑结构存放。 以下给出用JAVA爬虫WebCollector(2.09版本号以上)爬取整站网页并依照网页拓扑结构存储到本地的代码。 代码中的抽取器能够作为一个插件复用。 WebCollector的jar包可到官网下载：WebCollect ...
分类：
编程语言 时间：
2017-06-14 14:24:31
阅读次数：
487
爬虫爬取时，须要约束爬取的范围。基本全部的爬虫都是通过正則表達式来完毕这个约束。 最简单的，正则： http://www.xinhuanet.com/.*代表"http://www.xinhuanet.com/"后加随意个随意字符（能够是0个）。 通过这个正则能够约束爬虫的爬取范围,可是这个正则并非 ...
分类：
编程语言 时间：
2017-06-11 11:30:04
阅读次数：
169
目标：动态网页爬取 说明：这里的动态网页指几种可能：1）须要用户交互，如常见的登录操作；2）网页通过JS / AJAX动态生成。如一个html里有<div id="test"></div>，通过JS生成<div id="test"><span>aaa</span></div>。 这里用了WebCol ...
分类：
Web程序 时间：
2017-06-04 19:55:43
阅读次数：
560
