最近一直在研究爬虫的相关技术，网上关于爬虫的教程实在是太少了，只能靠一些零零散散的博客资料做一个浅度的学习，我们已经学习了webcollector，htmlparser，Jsoup这些爬虫技术，并也成功爬取了一些网站的数据，多多少少也算是有一些小的成就，今天又学习了一下crawlScript，这是一 ...
分类：
系统相关 时间：
2017-03-24 17:21:42
阅读次数：
235
昨天，我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲，而且还包括付费的在内，如果时间允许的话，可以获取更多的音乐下来，当然，也有小伙伴留言说这样会降低国人的知识产权保护意识，诚然，我们的重点在于如何灵活运用我们已学的技术，这就需要我们不断的练习，不停的思索和深入发掘，在了解了 ...
分类：
Web程序 时间：
2017-03-17 17:35:59
阅读次数：
339
最近在知乎上看到一个话题，说使用爬虫技术获取网易云音乐上的歌曲，甚至还包括付费的歌曲，哥瞬间心动了，这年头，好听的流行音乐或者经典老歌都开始收费了，只能听不能下载，着实很郁闷，现在机会来了，于是开始研究爬虫技术，翻阅各种资料，最终选择网友们一致认为比较好用的webcollector框架来实现。 首先 ...
分类：
Web程序 时间：
2017-03-16 17:17:16
阅读次数：
1269
（一） 本章打算研究一下爬虫。我想用爬虫简单的爬取几篇文章，以及收集一下常用网站的信息。 （二） 以开源项目 JAVA爬虫 WebCollector 为源码研究。在此基础上改为适合自己项目的代码。 （三） WebCollector致力于维护一个稳定、可扩的爬虫内核，便于开发者进行灵活的二次开发。内核 ...
分类：
其他好文 时间：
2017-02-07 18:45:36
阅读次数：
461
目标：动态网页爬取 说明：这里的动态网页指几种可能：1）需要用户交互，如常见的登录操作；2）网页通过JS / AJAX动态生成，如一个html里有<div id="test"></div>，通过JS生成<div id="test"><span>aaa</span></div>。 这里用了WebCol ...
分类：
Web程序 时间：
2016-04-25 06:46:08
阅读次数：
1308
webcollector是一个开源的Java网络爬虫框架。最近的爬虫改用java写了，对这一周的工作进行简要总结。对于内部机制了解不深入，主要侧重在应用。 一、环境搭建 需要安装一个webcollector的jar包，从官网上下载bin文件，解压，根据不同IDE的安装方式进行安装即可。 https:
分类：
Web程序 时间：
2016-03-21 07:02:14
阅读次数：
306
简单介绍： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API。仅仅需少量代码就可以实现一个功能强大的爬虫。 怎样将WebCollector导入项目请看以下这个教程： JAVA网络爬虫WebCollector深度解析——爬虫内核 參数： WebCol
分类：
编程语言 时间：
2016-02-19 14:09:48
阅读次数：
771
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
假设你想下载整个网站内容爬行动物，我不希望配置heritrix复杂的爬行动物，要选择WebCollector。项目github一个不断更新。github源地址：https://github.com/CrawlScript/WebCollectorgithub下载地址：http://crawlscri...
分类：
编程语言 时间：
2015-10-17 14:52:21
阅读次数：
208
配置mainClass： org.apache.maven.plugins maven-jar-plugin 2.5 true cn.edu.hfut.dmic.webcollector.example.TutorialCrawler2 run as->cleanrun as->in...
分类：
编程语言 时间：
2015-08-21 18:58:42
阅读次数：
180
