1、交换机类型：4种：Direct exchange、Fanout exchange、Topic exchange、Headers exchange Direct exchange：直连交换机（默认的交换机），转发消息到routigKey指定的队列，是一种完全匹配的关系。这种模式下，routingK ...
分类：
其他好文 时间：
2019-10-26 19:26:31
阅读次数：
108
使用Modify Headers修改或增加请求头 添加后再次访问任何网站都会带有已添加的headers 备注：今天刚学的东西： 出现某些请求一下就消失的情况 可以勾选这个选项来抓取： ...
分类：
其他好文 时间：
2019-10-25 18:41:25
阅读次数：
206
一、Charles是什么？ Charles是一个HTTP代理服务器,HTTP监视器,反转代理服务器，当浏览器连接Charles的代理访问互联网时，Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信，这些包括request, response和HTTP ...
分类：
其他好文 时间：
2019-10-25 13:16:40
阅读次数：
271
centos7安装先解决依赖关系[root@localhost ~]# yum -y install perl gcc gcc-c++ make cmake kernel kernel-headers kernel-devel net-tools安装 vmware-tools创建目录[root@lo ...
分类：
系统相关 时间：
2019-10-24 09:22:15
阅读次数：
86
Linux系统中使用yum安装软件包 出现如下报错： 出现这种问题是yum源的问题。 解决方案： 更新一下yum源，或者换成阿里的源都行。 ...
分类：
其他好文 时间：
2019-10-23 13:58:56
阅读次数：
463
0遇到过得反爬虫策略以及解决方法?1.通过headers反爬虫2.基于用户行为的发爬虫：(同一IP短时间内访问的频率)3.动态网页反爬虫(通过ajax请求数据，或者通过JavaScript生成)4.对部分数据进行加密处理的(数据是乱码)解决方法：对于基本网页的抓取可以自定义headers,添加headers的数据使用多个代理ip进行抓取或者设置抓取的频率降低一些，动态网页的可以使用selenium
分类：
编程语言 时间：
2019-10-22 23:52:29
阅读次数：
219
Nodejs发送http请求时，有时候会遇到302的转发请求，需要额外做处理。处理方案：获得headers.location，重新发起请求到这个地址上
分类：
Web程序 时间：
2019-10-20 16:09:27
阅读次数：
180
## 二次封装Response类 Response({ 'status': 0, 'msg': 'ok', 'results': [], 'token': '' # 有这样的额外的key-value数据结果 },status=http_status,headers=headers,exception... ...
分类：
其他好文 时间：
2019-10-20 14:41:04
阅读次数：
73
Python爬虫，自动登录京东网站，查询商品库存，价格，显示购物车详情等。可以指定抢购商品，自动购买下单，然后手动去京东付款就行。 ...
分类：
编程语言 时间：
2019-10-20 11:19:22
阅读次数：
631
