爬虫介绍 # 介绍爬虫 2 urilib3（内置，不好用），requests--模拟发送http请求 3 Beautifulsoup解析，xpth解析 4 selenium模块，操作浏览器 5 Mongodb 6 反爬：代理池，cookie池，请求头中：user-agent，refer，js逆向 7 ...
分类：
其他好文 时间：
2020-07-31 21:46:31
阅读次数：
87
axios 使用 post 发送数据时，默认是直接把 json 放到请求体中提交到后端的。也就是说，我们的 Content-Type 变成了 application/json;charset=utf-8 ,这是axios默认的请求头content-type类型。但是实际我们后端要求的 'Conten ...
分类：
其他好文 时间：
2020-07-29 17:34:34
阅读次数：
81
1、什么是信息头？请求头 2、什么时候用？Cookie token 3、我们的场景设计？反爬虫添加信息头 模拟浏览器发送请求 user--agent 4、范围：分为全局和局部的吗？有全局和局部之分 (1)http信息头管理器如果放在某个http请求下，则只对该http请求生效 (2)http信息头管 ...
分类：
Web程序 时间：
2020-07-29 17:31:45
阅读次数：
106
help函数 help(requests)查看相关注释和案例内容。 发送post请求的接口（dict参数） 发送post请求的接口（json参数） post的body是json类型，也可以用json参数传入。 先导入json模块，用dumps方法转化成json格式。 请求头header 现在由于对接 ...
分类：
编程语言 时间：
2020-07-26 15:59:10
阅读次数：
89
$ancient_browser 如果浏览器被识别为旧式浏览器，该值等于 ancient_browser_value 的值 $arg_{name} 请求中某个参数值 $args 请求url里的参数 $binary_remote_addr (ngx_http_core_module,ngx_strea ...
分类：
其他好文 时间：
2020-07-26 00:44:12
阅读次数：
114
当请求头未指定编码的时候，会出现响应信息文字乱码的现象。解决办法：请求头中指定编码方式。 加代码 res.writeHead(200, {'Content-Type': 'text/plain;charset=utf-8'}); ...
分类：
Web程序 时间：
2020-07-24 15:40:26
阅读次数：
74
记录： 访问ip， 请求链接， 请求参数， 请求头， 返回信息... 问题1： 如何实现aop切片的就是Controller中的请求方法? 监听xxxController下的所有方法？ 担心Controller中有部分方法是普通方法，例如private String datePares（Date d ...
分类：
其他好文 时间：
2020-07-22 20:25:22
阅读次数：
71
（当接口的参数用@RequestBody修饰，同时还有另外的参数的情况） 测试接口的时候，如果项目中请求经过网关，转发到服务时，中间会将请求头数据转换成参数对象Subject。 格式如下： @PutMapping("/demo/update") public String update(@Valid ...
分类：
编程语言 时间：
2020-07-18 19:53:48
阅读次数：
76
1、get方式：如何为爬虫添加ip代理，设置Request header（请求头） import urllib import urllib.request import urllib.parse import random import time from fake_useragent import ...
分类：
编程语言 时间：
2020-07-17 22:29:49
阅读次数：
192
前端的存储方式有：localStorage、sessionStorage、cookie、UserData、webSQL、indexeddb、HTML5离线存储等 1、本地存储 1.cookie 在h5之前，存储主要用的是cookie。cookie会随着每次http请求头信息一起发送，无形中增加了网络 ...
分类：
其他好文 时间：
2020-07-17 14:10:24
阅读次数：
66
