1、我们在尝试抓取其他网站的数据接口时，某些接口需要经过请求头中的Host和Referer的检查，不是指定的host或referer将不予返回数据，且前端无法绕过这种检查 此时通过后端代理解决 在vue-cli 环境下，以qq音乐为例伪造请求头： 1.1 打开配置文件webpack.dev.conf ...
分类：
其他好文 时间：
2019-05-07 23:14:31
阅读次数：
383
postman的使用方法详解 Collections：在Postman中，Collection类似文件夹，可以把同一个项目的请求放在一个Collection里方便管理和分享，Collection里面也可以再建文件夹。如果做API文档的话，可以每个API对应一条请求，如果要把各种输入都测到的话，就需要 ...
分类：
其他好文 时间：
2019-05-05 17:58:05
阅读次数：
272
依然是爬取五等分的花嫁漫画。在爬取时发现需要获得的某个数据只能在浏览器正常打开后才能获取，否则获得的是空数据。 折腾了cookie也没有用。想啊想，看啊看，试啊试，最终还是没有解决问题 又去参考了前辈的代码，加了header中的referer终于解决了问题。 现在还是不明白为什么。先贴个关于refe ...
分类：
其他好文 时间：
2019-05-03 18:01:30
阅读次数：
109
工作原理 1.通过Referer或者签名，网站可以检测目标网页访问的来源网页，如果是资源文件，则可以跟踪到显示它的网页地址。一旦检测到来源不是本站即进行阻止或者返回指定的页面。 2.通过计算签名的方式，判断请求是否合法，如果合法则显示，否则返回错误信息。 Referer Nginx模块ngx htt ...
分类：
其他好文 时间：
2019-04-23 17:43:06
阅读次数：
154
anacoda安装的jupyter，使用nginx进行了转发，远程访问可以进去，但是创建文件和创建目录都会报错 浏览器页面报错： 第一次使用jupyter创建python时错误：Creating Notebook Failed An error occurred while creating a n ...
请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本。 Get请求例子，使用Charles抓取的request： 第一部分：请求行，用来说明请求类型,要访问的资源以及所使用的HTTP版本. GET说明请求类型为GET,[/562f25980001b1b106000338.jpg]为 ...
分类：
Web程序 时间：
2019-04-18 14:56:27
阅读次数：
238
https://www.cnblogs.com/swordxia/p/4550825.html 接了 http referer 头 没法显示图片 可以去原始blog 里面去查看. 随笔- 109 文章- 0 评论- 1 随笔- 109 文章- 0 评论- 1 随笔- 109 文章- 0 评论- 1 ...
分类：
系统相关 时间：
2019-04-17 09:53:16
阅读次数：
203
requests get请求(参数带有中文) get请求 headers 补充 post请求 requests使用流程 ...
分类：
其他好文 时间：
2019-04-15 14:39:21
阅读次数：
127
（1）根据题意，从Referer入手 （2）报错注入与上一关相同。如爆库名： ...
分类：
数据库 时间：
2019-04-14 17:54:31
阅读次数：
143
解决办法RequestConfiguration requestConfiguration = new RequestConfiguration();requestConfiguration.getHeaders().put("referer", "http://map.tianditu.gov.c ...
分类：
移动开发 时间：
2019-03-29 17:25:50
阅读次数：
259
