最近解决的bug长得都很别致啊，记录一下 一 ：天气插件引用报403 项目里有一个天气插件引用一直报403 后来确定原因是headers里缺少referer源，无法访问资源的服务器，再后来又发现项目引得是electron fetch，是精简版的fetch，不支持设置referer 天坑啊，也不允许换 ...
分类：
其他好文 时间：
2019-03-22 11:50:08
阅读次数：
135
设置COOKIE setcookie ( string $name [, string $value = "" [, int $expire = 0 [, string $path = "" [, string $domain = "" [, bool$secure = false [, bool& ...
分类：
其他好文 时间：
2019-03-01 13:00:28
阅读次数：
200
简单爬虫示例 爬取抽屉，以及自动登陆抽屉点赞 先查看首页拿到cookie，然后登陆要携带首页拿到的 cookie 才可以通过验证 爬取拉勾网 请求头中存在自定义的验证字段，要想办法拿到才可以正确爬取,以及 Referer 的使用 自动登陆GitHub scrf_token 的验证 总结 请求头： 特 ...
分类：
其他好文 时间：
2019-02-10 09:27:19
阅读次数：
204
http 协议： 超文本传输协议，基于请求/响应模式 无状态协议（短连接，无记忆） url：统一资源定位符 post 有请求体， get 没有请求体 referer：请求来自那个页面。放在请求头部 Content-Type：url编码方式，放在请求体里面的 css：Cascoding Style S ...
分类：
其他好文 时间：
2019-02-09 00:48:39
阅读次数：
197
通过限制referer来实现防盗链的功能配置文件增加如下内容：vim/usr/local/apache2.4/conf/extra/httpd-vhosts.conf<Directory/data/wwwroot/111.com>SetEnvIfNoCaseReferer"http://111.com"local_ref//定义白名单SetEnvIfNoCaseReferer"http
分类：
其他好文 时间：
2019-01-28 12:05:21
阅读次数：
148
一、获取所有学生信息的接口文档内容 二、使用postman进行测试 选择请求方式、填写URL、填写Headers下的参数值（key是Referer、value是接口文档中的value值） 三、使用jmeter进行测试 1、添加http请求 2、添加http信息头管理器 3、http信息头管理器中添加 ...
分类：
其他好文 时间：
2019-01-24 14:27:56
阅读次数：
241
爬虫 1.基础知识：网站基本原理，html,python,多进程/多线程/协程等（必学） 2.HTML基础、网络请求模块：requests(必学)，urllib(可以了解) 3.需要了解一些常见的反爬策略以及对应的解决方案：常见的有IP频率限制，User-Agent、Referer、Origen验证 ...
分类：
编程语言 时间：
2019-01-20 18:49:04
阅读次数：
180
nginx可以利用其反向代理的功能来进行负载均衡的实现，同时也可以使用其正向代理的功能设置代理服务器，比如在内网的环境中，在可以连接外网的机器上运行nginx作为代理服务器，其他机器通过设定此台机器的IP和port即可通过其连接上网，本文使用nginx官方镜像，通过如下步骤即可简单实现代理服务器。 ...
分类：
其他好文 时间：
2019-01-20 13:59:04
阅读次数：
220
1.Headers: 从用户的headers进行反爬是最常见的反爬策略,Headers是一种最常见的反爬机制Headers是一种区分浏览器行为和机器行为中最简单的方法，还有一些网站会对Referer （上级链接）进行检测 从而实现爬虫。 相应的解决措施：通过审查元素或者开发者工具获取相应的heade ...
分类：
其他好文 时间：
2019-01-20 11:57:27
阅读次数：
175
