今天依旧学习了webmagic爬虫，发现昨天爬取的网址不对，内容也不对，重新找了一个网址爬取，重新整理了思路，发现这个网址，分为三种类型的链接，建议，咨询和一个什么记不清了，需要先判断类型，然后才能分配Id，然后加入url队列。 这个网址的一大难点，就是分页是一个POST传值，然后动态的修改了网页内 ...
分类：
其他好文 时间：
2020-02-15 09:46:15
阅读次数：
69
爬取北京市信件内容： 下载webmagic-0.7-libs.tar.gz压缩包，解压缩。没有压缩包可以加QQ：893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/ ...
分类：
其他好文 时间：
2020-02-14 19:03:24
阅读次数：
108
在很多网址上，都有下一页这个button，而很多都是通过发送post请求来获取参数，今天我们就来看一下post的具体发送方式。 我之前发送一直不成功，原因是在发送json的格式上出了错，我之前写的时候，总是会把双引号改成单引号，导致发送失败。所以按照原来的post请求发送就可以，比如 这个网页的po ...
分类：
Web程序 时间：
2020-02-13 19:28:59
阅读次数：
257
今天继续学习webmagic 已经可以爬取出目录和跳转去信件的页面，不知道是一直有还是后来加的，现在好像多了哥跳转中页面，目录给的链接不是直接的信件页面，所以我还需要再加一条爬取跳转中页面的提供的url然后访问，才可以爬取信件内容，但是不知道是正则表达式的问题还是什么，总之爬取不到想要的url一直是 ...
分类：
其他好文 时间：
2020-02-13 00:17:25
阅读次数：
67
今天继续学习webmagic爬虫 通过老师给的学习资料学习后，对webmagic爬虫基本有了了解，当时对site方法有点模糊，今天也终于搞明白了，感觉就像模拟了一个用户一样，对一个网站的框架还是不是很了解，所以还是不太理解，那些cookie，host，UserAgent，和header是什么，不过我 ...
分类：
其他好文 时间：
2020-02-12 00:42:34
阅读次数：
64
今天继续学习webmagic爬虫技术，组件包含： 1.Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。 2.PageProcessor PageProcessor负责解析页面，抽取有用信息，以及 ...
分类：
其他好文 时间：
2020-02-11 00:30:29
阅读次数：
76
（一）使用前的配置： 1，使用IDEA创建web项目：https://blog.csdn.net/MyArrow/article/details/50824793 2，（1）添加依赖： <dependency> <groupId>us.codecraft</groupId> <artifactId> ...
分类：
编程语言 时间：
2020-02-11 00:23:10
阅读次数：
111
网络爬虫 Web crawler 可以代替人工自动从互联网中进行数据信息的采集和整理 按照一定的规则自动抓取万维网上的信息程序或者脚本 从功能上区分为 数据采集 处理 储存 这三个部分 从流程上来说 从一个或者若干个网页URL地址去抓取指定的想要的内容 为什么学习爬虫 1 可以实现搜索引擎 2大数据 ...
分类：
Web程序 时间：
2020-02-04 10:21:29
阅读次数：
203
1.切换目录到/data/目录下，创建名为edu1的目录 cd /data/ mkdir /data/edu1 2.切换目录到/data/edu1目录下，使用wget命令，下载webmagic爬虫项目所依赖的lib包 cd /data/edu1 wget http://192.168.1.100:6 ...
分类：
其他好文 时间：
2020-01-15 18:00:10
阅读次数：
88
使用Webmagic爬虫实现的签名档一键生成 实现原理 这里爬取的网址是http://jiqie.zhenbi.com/c/ 然后获取到里面提交数据，提交地址，在对这些数据进行Post提交 解析html标签获得图片地址并输出到控制台 不会使用Webmagic爬虫框架的 自行百度配置 本文主要是学习P ...
分类：
编程语言 时间：
2020-01-11 18:12:20
阅读次数：
176
