###1.爬虫的概念 (1)爬虫又叫网页蜘蛛，是模拟人操作客户端向服务器发起请求，抓取数据的自动化程序或脚本。 (2)说明: ① 模拟:用爬虫程序伪装出人的行为，避免被服务器识别为爬虫程序； ② 客户端:浏览器、app都可以实现人与服务器之间的交互行为，应用客户端从服务器获取数据； ③ 自动化: 数 ...
分类：
其他好文 时间：
2020-08-09 21:34:13
阅读次数：
92
报错HttpConnectinPool:原因： 1.短时间内发起了高频的请求导致ip被禁。 2.发送高频的请求且请求成功后没有被及时断开，导致http连接池（http连接对象）中的连接资源被耗尽。 解决： 1.代理 2.headers中加入Conection:"close"，表示请求后连接立即断开。 ...
分类：
其他好文 时间：
2020-08-09 21:33:20
阅读次数：
96
#Java学习之文件io流篇 0x00 前言 在平时的一些开发中，普遍都会让脚本运行的时候，去存储一些脚本运行结果的数据，例如开发一个爬虫，这时候我们爬取下来的内容，就需要存储到本地，那么这时候就会用到一些操作文件的类。 0x01 File 类 File类主要用于文件和目录创建、查找、删除等操作的。 ...
分类：
编程语言 时间：
2020-08-08 20:08:00
阅读次数：
78
1. 流程分析 1.1 分析目标地址分页的情况 第一页：https://域名/分类/index.html 第二页：https://域名/分类/index_2.html 第三页：https://域名/分类/index_3.html 即可得出目标分页的规律 1.2 分析某一页各个项的特征 观察得出每一项 ...
分类：
其他好文 时间：
2020-08-07 12:38:25
阅读次数：
67
11.1 Charles 的使用 Charles 是一个网络抓包工具，我们可以用它来做 App 的抓包分析，得到 App 运行过程中发生的所有网络请求和响应内容，这就和 Web 端浏览器的开发者工具 Network 部分看到的结果一致。 相比 Fiddler 来说，Charles 的功能更强大，而且 ...
分类：
编程语言 时间：
2020-08-06 23:14:56
阅读次数：
104
首先我们封装一个Http请求的工具类，用HttpURLConnection实现，当然你也可以用HttpClient,或者直接用Jsoup来请求（下面会讲到Jsoup）。工具类实现比较简单，就一个get方法，读取请求地址的响应内容，这边我们用来抓取网页的内容，这边没有用代理，在真正的抓取过程中，当你大量请求某个网站的时候，对方会有一系列的策略来禁用你的请求，这个时候代理就排上用场了，通过代理设置不同
分类：
编程语言 时间：
2020-08-03 23:23:49
阅读次数：
86
前言 在完成爬虫任务的时候，我们总是会遇到用户账号登陆的问题，如果自己手动登陆的话，那么工作量就很大了，如何解决登陆问题呢？ 今天老师带领大家使用selenium完成淘宝账号登陆 本篇文章知识点： selenium自动化测试框架的基本使用 通过xpath寻找相应组件并自动化操作 环境介绍： pyth ...
分类：
编程语言 时间：
2020-08-01 21:30:27
阅读次数：
104
爬虫介绍 # 介绍爬虫 2 urilib3（内置，不好用），requests--模拟发送http请求 3 Beautifulsoup解析，xpth解析 4 selenium模块，操作浏览器 5 Mongodb 6 反爬：代理池，cookie池，请求头中：user-agent，refer，js逆向 7 ...
分类：
其他好文 时间：
2020-07-31 21:46:31
阅读次数：
87
工具类1 /** * Created by Administrator on 2016/2/25. */ public class IdCard { /** 中国公民身份证号码最小长度。 */ public final int CHINA_ID_MIN_LENGTH = 15; /** 中国公民身份 ...
分类：
编程语言 时间：
2020-07-31 14:12:01
阅读次数：
114
2.3、数据库的字段属性（重点） Unsigned: 无符号的整数 声明了该列不能为负数 zerofill： 0填充的 不足的位数，使用0来填充，int（3） ，5 005 自增： 通常理解为自增，自动在上一条记录的基础上+1（默认） 通常用来设计唯一的主键~ index，必须是整数类型 可以自定义 ...
分类：
数据库 时间：
2020-07-30 22:15:18
阅读次数：
123
