码迷,mamicode.com
首页 > 其他好文 > 详细

Scrapy模拟登陆

时间:2020-01-18 00:57:11      阅读:87      评论:0      收藏:0      [点我收藏+]

标签:http   地址   div   inpu   src   保存   规范   input   页面   

1. 为什么需要模拟登陆?

#获取cookie,能够爬取登陆后的页面

2. 回顾: requests是如何模拟登陆的?

#1、直接携带cookies请求页面

#2、找接口发送post请求存储cookie

3. selenium是如何模拟登陆的? 

#找到对应的input标签,输入文字点击登录

4. 那么对于scrapy来说,也是有两个方法模拟登陆
 
# 1、直接携带cookie 

# 2、找到发送post请求的url地址,带上信息,发送请求

1. scrapy模拟登陆之携带cookie

应用场景:
	1、cookie过期时间很长,常见于一些不规范的网站
	2、能在cookie过期之前把搜有的数据拿到
	3、配合其他程序使用,比如其使用selenium把登陆之后的cookie获取到保存到本地,scrapy发送请求之前先读取本地cookie

技术图片

 

 技术图片

 

 2. scrapy模拟登陆之cookie传递

技术图片

 

 3. scrapy模拟登陆之发送post请求

技术图片

 

 4. scrapy模拟登陆之自动登录

技术图片

Scrapy模拟登陆

标签:http   地址   div   inpu   src   保存   规范   input   页面   

原文地址:https://www.cnblogs.com/yzg-14/p/12207953.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!