一、使用Fiddler进行HTTP断点调试 断点调试是Fiddler又一强大和实用的工具之一。通过设置断点，Fiddler可以做到： 1. 修改HTTP请求头信息。例如修改请求头的UA, Cookie, Referer 信息，通过“伪造”相应信息达到达到相应的目的（调试，模拟用户真实请求等）。 2. ...
分类：
其他好文 时间：
2020-01-16 18:54:44
阅读次数：
93
Python爬虫请求头解析 Accept:本次请求可以接受的内容； Accept-Encoding:可以接受的数据编码的类型； Accept-Language:可以接受的语言类型； Cookie：保存用户状态的登录状态信息（身份证）； Host:保存请求的主机地址； Referer:告诉服务器从哪里 ...
分类：
编程语言 时间：
2020-01-13 15:53:00
阅读次数：
176
今天咋们来看看网易云赵雷的歌曲歌词，并做一个词云图。这篇文章可以学习到什么是词云，爬虫的基本流程，简单的可视化操作 @[toc] 一 什么是词云 可视化有很多种，好的数据可视化，可以使得数据分析的结果更加通俗易通。"词云"属于可视化的一种，它会根据关键词的出现频率生成一幅图，这样可以让我们一眼就知道 ...
分类：
编程语言 时间：
2020-01-12 18:04:13
阅读次数：
115
原文地址：https://www.sojson.com/blog/58.html HTTP 请求头部 referer 概述 referer 是 HTTP 请求头部的一部分。当浏览器（或者模拟浏览器行为）向web 服务器发送请求的时候，头信息里有包含 Referer 。Referer的的作用是指示一个 ...
分类：
Web程序 时间：
2020-01-11 16:59:04
阅读次数：
123
反爬记录 1.UA伪装 2.封IP 3.font family 4.cookeies 5.验证码 6.referer 7.css:before 8.js混淆 9:加密 10.检查webdriver 11.禁用调试 爬虫小知识 测试接口信息的链接 大型免费代理池 https://github.com/ ...
分类：
其他好文 时间：
2020-01-06 22:48:39
阅读次数：
72
1.Linux下生成密钥 ssh-keygen的命令手册，通过”man ssh-keygen“命令： 通过命令”ssh-keygen -t rsa“ 生成之后会在用户的根目录生成一个 “.ssh”的文件夹 进入“.ssh”会生成以下几个文件 authorized_keys:存放远程免密登录的公钥,主 ...
分类：
系统相关 时间：
2019-12-31 10:25:24
阅读次数：
118
单击file——>save——>allsessions，保存所有会话，保存的文件格式是 .saz; 导出txt文件： GET https://i-beta.cnblogs.com/api/msg HTTP/1.1 Host: i-beta.cnblogs.com Connection: keep-a ...
分类：
其他好文 时间：
2019-12-30 21:27:00
阅读次数：
377
一、反爬策略 1、请求头 ——user-agent ——referer ——cookie 2、访问频率限制 ——代理池 ——再用户访问高峰期进行爬取，冲散日志。12-13 7-10 ——设置等待时长。time.sleep(3) 3、ajax异步请求，用接口获取数据 4、能一次性获取的数据，绝不发送第 ...
分类：
编程语言 时间：
2019-12-22 20:24:50
阅读次数：
127
增加一个Referer : https://www.google.com 就OK啦 ...
分类：
其他好文 时间：
2019-12-22 13:03:45
阅读次数：
66
curl 支持文件的上传和下载，所以是综合传输工具，但按传统，习惯称curl为下载工具。 作为一款强力工具，curl支持包括HTTP、HTTPS、FTP等众多协议，还支持 GET、POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征，还可以做网页处理 ...
分类：
Web程序 时间：
2019-12-20 16:54:18
阅读次数：
109
