#分块传输学习 ##1. 前言 最近面试看文章之余碰到了分块传输的知识点,其实早在2019年就知道了这个名词但是一直没有深入的看过,在这里天上前面的坑。 ##2. 什么是分块传输? 首先分块传输只支持http1.1,http1.1引入了分块传输的编码方式只要在代码头部分加入Transfer-Enco ...
分类:
其他好文 时间:
2020-07-31 19:25:30
阅读次数:
106
interface Navigator extends MSFileSaver, MSNavigatorDoNotTrack, NavigatorAutomationInformation, NavigatorBeacon, NavigatorConcurrentHardware, Navigato ...
分类:
其他好文 时间:
2020-07-30 22:00:57
阅读次数:
76
1、点击谷歌检查控制台的一个类似手机的按钮,变成手机端页面 二、在pc端模拟手机屏幕ui 1、首先在pc页面使用的ui自动化是selenium的webdriver,而手机app是appuim的webdriver 2、手机app模式下的User-Agent已变成:User-Agent: Mozilla ...
分类:
移动开发 时间:
2020-07-30 01:15:57
阅读次数:
89
具体代码如下: import requests import re headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74. ...
分类:
其他好文 时间:
2020-07-29 21:39:19
阅读次数:
106
import requests; import re; import os; import parsel; 1.请求网页 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537. ...
分类:
编程语言 时间:
2020-07-29 21:38:42
阅读次数:
68
以百度为例 GET /favicon.ico HTTP/1.1 Host: www.baidu.com Connection: keep-alive Pragma: no-cache Cache-Control: no-cache User-Agent: Mozilla/5.0 (Windows N ...
分类:
Web程序 时间:
2020-07-28 16:58:47
阅读次数:
177
#!/usr/bin/python import requests from lxml import etree #需求:爬取58二手房中的房源信息 if __name__ == "__main__": headers = { 'User-Agent':'Mozilla/5.0 (Windows N ...
分类:
其他好文 时间:
2020-07-28 10:12:45
阅读次数:
79
#编码流程: #1.验证码的识别,获取验证码图片的文字数据 #2.对post请求进行发送(处理请求函数) #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #创建一个session ...
分类:
其他好文 时间:
2020-07-28 10:07:17
阅读次数:
75
import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求:爬取梨视频的视频数据 headers = { 'User-Agent':'Mozilla/5.0 (Windows ...
分类:
编程语言 时间:
2020-07-28 10:02:06
阅读次数:
77
需求:后端返回文件流前端将文件流转为成blob地址预览pdf文件 两种方式: 1,PDFJS: https://mozilla.github.io/pdf.js/?支持获取文件流到客户端,生成blob地址预览 2,Vue-pdf https://github.com/FranckFreiburger ...
分类:
Web程序 时间:
2020-07-27 23:42:58
阅读次数:
110