UA池：User-Agent池 - 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的请求头信息中的UA进行篡改伪装 3.在配置文件中开启下载中间件 代码展示 #导包 from scrapy.contrib.dow ...
分类：
其他好文 时间：
2019-07-01 15:50:38
阅读次数：
137
1 import requests 2 import random 3 4 # 请求发送的网址url 5 url = 'https://www.baidu.com' 6 # 请求头信息，通常用于伪装浏览器，通过服务器校验 7 headers = { 8 9 'User-Agent': 'Mozill... ...
分类：
其他好文 时间：
2019-06-30 13:54:23
阅读次数：
100
今日内容： 一 爬虫原理 二 Requests请求库 一 爬虫原理 1.什么是互联网？ 指的是由一堆网络设备，把一台台的计算机互联网到一起称之为互联网。 2.互联网建立的目的？ 互联网建立的目的是为了数据的传递以及数据的共享。 3.什么是数据？ 例如淘宝、京东商品信息等... 东方财富、雪... ...
分类：
其他好文 时间：
2019-06-29 15:14:13
阅读次数：
134
先创建一个java工程MybatisProject,在src下面建包和实体类，并在数据库创建相同的person表，然后导入mybatis-3.4.6.jar包 在实体类下面创建一个XML文件PersonMapper.xml，将官方文档中的配置信息代码作为头信息导入,并将里面的配置改成自己的 再创建配 ...
分类：
编程语言 时间：
2019-06-29 00:36:23
阅读次数：
138
一、Nginx中虚拟主机配置 1、基于域名的虚拟主机配置 1、修改宿主机的hosts文件(系统盘/windows/system32/driver/etc/HOSTS) linux ： vim /etc/hosts 格式： ip地址 域名 eg: 192.168.3.172 www.gerry.com ...
分类：
其他好文 时间：
2019-06-23 21:11:12
阅读次数：
80
web.xml v2.3 web.xml v2.4 web.xml v2.5 web.xml v3.0 ...
分类：
Web程序 时间：
2019-06-23 17:37:29
阅读次数：
140
浏览器缓存原理 浏览器缓存 HTTP协议定义的缓存机制（如：Expires；Cache-control等） 2、浏览器无缓存 3、客户端有缓存 校验过期机制 校验是否过期 Expires、Cache-Control（max-age） 协议中Etag头信息校验 Etag Last-Modified头信 ...
分类：
其他好文 时间：
2019-06-23 17:36:12
阅读次数：
119
有的时候，我们对于同一通道中的消息处理，会通过判断头信息或者消息内容来做一些差异化处理，比如：可能在消息头信息中带入消息版本号，然后通过if判断来执行不同的处理逻辑，其代码结构可能是这样的 ...
分类：
编程语言 时间：
2019-06-15 11:48:47
阅读次数：
91
一般在ajax提交的时候出现这种情况 当我们在ajax参数设置 contentType: 'application/json; charset=utf-8', 用file_get_contents("php://input")获取值 $_POST是获取不到的 1.检查头信息content-type是 ...
分类：
Web程序 时间：
2019-06-14 21:24:54
阅读次数：
163
WebService接口地址：http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?op=getSupportCity 调用结果 下面可以获取到Content-Type及请求体的内容 请求头信息 请求体 运行结果 ...
分类：
Web程序 时间：
2019-06-08 11:37:12
阅读次数：
218
