1.什么是Fiddler
Fiddler是一种常见的抓包分析软件,可以利用Fiddler对HTTP请求进行分,还可以模拟HTTP请求。
常见的抓包软件:浏览器自带的调试工具,按F12;Wireshark。
2.网络爬虫和Fiddler的关系
网络爬虫是自动爬取网页的程序,在爬取时涉及客户端和服务器之间的通信,需要发送一些HTTP请求,并接收服务器返回的结果。而有些请求我们仅仅看网址变化并不能了解其中的规律,想要通过程序构造请求,就必须要先分析请求的规律,这个时候就需要用Fiddler来截获这些请求,对这些请求进行分析,这样的话,我们的工作就能进行的更加方便。当然了,在编写爬虫的时候,不一定都能用到Fiddler,但是对于一些比较复杂的网页来说,用Fiddler可以使我们更好、更快的分析网页,编写出对应的爬虫。
3.Fiddler的基本原理
本地客户端软件或浏览器与互联网服务器之间的通信,在有Fiddler加持的情况下,可以如下表示(画的有点简陋,理解就好理解就好~)
从图中可以看出,在没有Fiddler时,本地应用在与服务器通信时,是直接发送Request请求到服务器,在服务器处理后将结果返回本地,本地接收响应Response;而有了Fiddler之后,本地应用和服务器之间的请求响应都会经过Fiddler,由Fiddler进行转发,这样所有的网络数据都经过Fiddler,Fiddler就能截获这些数据,实现网络数据的抓包。
Fiddler下载安装:https://www.telerik.com/fiddler
Fiddler基本界面如下
4.Fiddler使用
Fiddler的使用呢,一般不需要什么配置,但是我们必须要了解一下,会话刘表里面每列都代表什么
#:顺序号,按照抓包的顺序从1递增
Result:HTTP状态码
Protocol:请求使用的协议
HOST:请求地址的主机名或域名
URL:请求资源的位置
Body:请求大小
Caching:请求的缓存过期时间或者缓存控制值
Content-Type:请求响应的类型
Process:发送此请求的进程ID
Comments:备注
Custom:自定义值
Fiddler抓到的每个数据包都是可以查看的,选择请求的数据包后,点击右侧列表中的Inspectors(此标签心啊是的是一些嗅探信息,还包含一些字子标签),可以查看详细的请求、响应等数据信息。(Statistics标签显示的是一些页面统计信息)