标签：html 登录 保存 response app 数据 文件夹 xxx job
爬取网页数据有很多方法，我知道的就有：
1、scrapy框架，创建scrapy框架文件夹，在spider文件写上请求函数，文件保存函数等等
2、导入requests模块请求，写上请求函数和保存函数。
方法很多种，今天这章节是做简单的爬取方式了。根据cookie，user-agent请求数据。
1、导入requests模块
import requests
2、可以写一个函数，也可以直接写代码，本人觉得写函数会比较有秩序。def run(): headers = {
def run():
headers:{
#假装自己是浏览器 ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36‘, #把登录的cookie复制进来 ‘Cookie‘: ‘xxx‘, } #创建一个会话 session = requests.Session() #请求网页 response = session.get(‘https://i.51job.com/userset/my_51job.php‘,headers = headers) #改为网页的编码gbk形式，不然会乱码 #response.encoding=‘gbk‘ #a = response.text
保存成为txt文件，注意:查看网页编码，如果是‘utf-8‘,那么f.write(response.content.decode(‘utf-8‘))
with open(‘a.text‘,‘w‘) as f: f.write(response.content.decode(‘gbk‘))
写完了函数，最后就要调用此函数。
if __name__==‘__main__‘: run()
运行成功，和这个py文件同目录下就可以看到一个a.text文本，可以看到这个就是网页请求的内容了
标签：html 登录 保存 response app 数据 文件夹 xxx job
原文地址：https://www.cnblogs.com/yunsi/p/11888246.html
