1，了解到两个爬虫项目SeimiCrawler 和webmagic:https://www.jianshu.com/p/8147bb0cc026 2，两个项目的gitbub地址：https://github.com/zhegexiaohuozi/SeimiCrawler https://github ...
分类：
其他好文 时间：
2019-12-25 15:55:07
阅读次数：
71
说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 webmagic 。我 ...
分类：
编程语言 时间：
2019-10-04 11:30:59
阅读次数：
91
webmagic简介： WebMagic是一个简单灵活的Java爬虫框架。你可以快速开发出一个高效、易维护的爬虫。 http://webmagic.io/ 准备工作： Maven依赖（我这里用的Maven创建的web项目做测试）： <dependencies> <!-- junit --> <dep ...
分类：
编程语言 时间：
2019-06-13 17:24:17
阅读次数：
142
本文内容 1、分析一下爬虫存在的问题及解决方案 2、webmagic中代理的使用 3、目前市面上一些比较好用的代理服务器 存在的问题 我们在使用爬虫过程中，大多都会遇到这样的问题：突然某一天爬虫爬不到内容了，目标网站直接返回404或者其他错误信息，这说明我们的爬虫被目标网站给屏蔽了。 爬虫被屏蔽的原 ...
分类：
编程语言 时间：
2019-04-23 12:30:03
阅读次数：
561
2. 快速开始 WebMagic主要包含两个jar包：webmagic-core-{version}.jar和webmagic-extension-{version}.jar。在项目中添加这两个包的依赖，即可使用WebMagic。 WebMagic默认使用Maven管理依赖，但是你也可以不依赖Mav ...
分类：
Web程序 时间：
2019-04-08 01:20:49
阅读次数：
201
一、环境 项目:maven项目 数据库:mysql 二、项目介绍 我们要爬去的页面是https://shimo.im/doc/iKYXMBsZ5x0kui8P 假设我们需要进入这个页面，爬取页面里面的所有电影百度云链接，并保存在mysql数据库里。 三、pom.xml配置 首先我们需要新建一个mav ...
分类：
编程语言 时间：
2019-01-12 18:31:19
阅读次数：
124
我们总是用第三方的API提供的能力，第三方要求广度，而我们满足需要和封装又希望能力是单一的，所以要处理好边界哦！ 以上代码，比直接用Map要好很多哦，因为它限制了Map的其他能力暴露出去，从而恰当的处理了代码边界；如此的例子还可以类比webMagic的ResultItem；但不确定作者就是为了整洁代 ...
分类：
其他好文 时间：
2018-11-28 12:05:44
阅读次数：
257
1.获取标题建立文件TXT 创建以标题命名的TXT 写入网址和内容 写入TXT的内容为乱码 HttpURLConnection urlConn = (HttpURLConnection) url.openConnection(); urlConn.connect(); DataOutputStrea ...
分类：
Web程序 时间：
2018-10-17 12:09:44
阅读次数：
493
爬虫工具：webmagic 爬取百度图片，不能通过获取html然后通过匹配标签的形式，而是要找到对应的提供json数据的请求，这个坑我踩了两三个小时，最初自信满满的按官方文档注解形式写了model，pipeline，然后就运行时就发现问题很大。 开始是获取不到html，然后通过调试发现可以获得ray ...
分类：
其他好文 时间：
2018-10-13 15:43:09
阅读次数：
180
WebMagic基于Maven进行构建，推荐使用Maven来安装WebMagic。在你自己的项目（已有项目或者新建一个）中添加以下坐标即可： WebMagic使用slf4j-log4j12作为slf4j的实现.如果你自己定制了slf4j的实现，请在项目中去掉此依赖。 以下代码是去除依赖 ...
分类：
Web程序 时间：
2018-08-02 20:48:21
阅读次数：
212
