#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #1.对验证码图片进行捕 ...
分类：
其他好文 时间：
2020-07-28 10:08:07
阅读次数：
164
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #创建一个session ...
分类：
其他好文 时间：
2020-07-28 10:07:17
阅读次数：
75
import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求：爬取梨视频的视频数据 headers = { 'User-Agent':'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2020-07-28 10:02:06
阅读次数：
77
一、需要使用requests下的会话对象； 会话对象让你能够跨请求保持某些参数。它也会在同一个Session实例发出的所有请求之间保持cookie。 方法级别的参数不会被跨请求保持。 参考：https://requests.readthedocs.io/zh_CN/latest/user/advan ...
分类：
编程语言 时间：
2020-07-27 15:46:41
阅读次数：
134
1.requests库发送请求时，params和data、json的区别 params的时候之间接把参数加到url后面，只在get请求时使用,data、json是用在post请求，json是传递的json格式的数据 params: (optional) Dictionary or bytes to ...
分类：
编程语言 时间：
2020-07-26 19:22:19
阅读次数：
72
help函数 help(requests)查看相关注释和案例内容。 发送post请求的接口（dict参数） 发送post请求的接口（json参数） post的body是json类型，也可以用json参数传入。 先导入json模块，用dumps方法转化成json格式。 请求头header 现在由于对接 ...
分类：
编程语言 时间：
2020-07-26 15:59:10
阅读次数：
89
python 网页解析器 1、常见的python网页解析工具有：re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。 2、常见网页解析器分类 （1）模糊匹配 ：re正则表达式即为字符串式的模糊匹配模式； （2）结构化解析： Beat ...
分类：
编程语言 时间：
2020-07-26 00:29:13
阅读次数：
83
在得到返回的对象(response)后，一般不去刻意查看，是不知道编码方式的。 通常直接猜即可，因为大多数都是使用的“utf-8”。 在requests里的快捷的解码方式可以使用如下几种： 1. response.text ·类型：str ·解码类型：根据http头部对响应的编码作出推测 ·修改：r ...
分类：
其他好文 时间：
2020-07-24 21:38:28
阅读次数：
129
#!/usr/bin/python #你要的文件夹是 E://pics// ps:没有的话帮你建一个 import requests import os from datetime import datetime url="https://area.sinaapp.com/bingImg" root ...
分类：
编程语言 时间：
2020-07-24 16:44:14
阅读次数：
75
知网爬取勿做商用 import requests, time, parsel, re from selenium.webdriver.chrome.options import Options from urllib.parse import urlencode from selenium impo ...
分类：
其他好文 时间：
2020-07-23 16:07:56
阅读次数：
157
