标签：网页 isp windows print orm x64 bsp 模块 class
1.适用网站几场景
抓取需要登录才能访问的页面
2.cookie和session机制
# http协议为无连接协议 cookie: 存放在客户端浏览器 session: 存放在Web服务器
方法一.登录网站手动抓取Cookie
1.先登录成功1次,获取到携带登录信息的Cookie 登录成功-个人主页-F12抓包-刷新个人主页-找到主页的包(profile) 2.携带着cookie发请求 Cookie User-Agent
import requests class RenRenLogin(object): def __init__(self): # url为需要登录才能正常访问的地址 self.url = ‘http://www.renren.com/967469305/profile‘ # headers中的cookie为登录成功后抓取到的cookie self.headers = { # 此处注意cookie，要自己抓取 "Cookie": "xxx", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36", } # 获取个人主页响应 def get_html(self): html = requests.get(url=self.url,headers=self.headers,verify=False).text print(html) self.parse_html(html) # 可获取并解析整个人人网内需要登录才能访问的地址 def parse_html(self,html): pass if __name__ == ‘__main__‘: spider = RenRenLogin() spider.get_html()
方法二.requests模块处理Cookie
原理思路及实现
# 1. 思路 requests模块提供了session类,来实现客户端和服务端的会话保持 # 2. 原理 1、实例化session对象 session = requests.session() 2、让session对象发送get或者post请求 res = session.post(url=url,data=data,headers=headers) res = session.get(url=url,headers=headers) # 3. 思路梳理 浏览器原理: 访问需要登录的页面会带着之前登录过的cookie 程序原理: 同样带着之前登录的cookie去访问 - 由session对象完成 1、实例化session对象 2、登录网站: session对象发送请求,登录对应网站,把cookie保存在session对象中 3、访问页面: session对象请求需要登录才能访问的页面,session能够自动携带之前的这个cookie,进行请求
具体步骤
1、寻找Form表单提交地址 - 寻找登录时POST的地址 查看网页源码,查看form表单,找action对应的地址: http://www.renren.com/PLogin.do 2、发送用户名和密码信息到POST的地址 * 用户名和密码信息以什么方式发送？ -- 字典 键 ：<input>标签中name的值(email,password) 值 ：真实的用户名和密码 post_data = {‘email‘:‘‘,‘password‘:‘‘} session = requests.session() session.post(url=url,data=data)
程序实现
整体思路 1、先POST: 把用户名和密码信息POST到某个地址中 2、再GET: 正常请求去获取页面信息
import requests class RenrenLogin(object): def __init__(self): # 定义常用变量 self.post_url = ‘http://www.renren.com/PLogin.do‘ self.get_url = ‘http://www.renren.com/967469305/profile‘ self.post_data = { ‘email‘ : ‘xxx‘, ‘password‘ : ‘xxx‘ } self.headers = { ‘User-Agent‘ : ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36‘, ‘Referer‘ : ‘http://www.renren.com/SysHome.do‘ } # 实例化session会话保持对象 self.session = requests.session() # 先post 再get def post_get_data(self): # 先POST,把用户名和密码信息POST到一个地址 self.session.post(url=self.post_url,data=self.post_data,headers=self.headers) # 再get个人主页 html = self.session.get(url=self.get_url,headers=self.headers).text print(html) if __name__ == ‘__main__‘: spider = RenrenLogin() spider.post_get_data()
方法三
原理
1、把抓取到的cookie处理为字典 cookies_dict = {} cookies = ‘xxx‘ for kv in cookise.split(‘; ‘) cookies_dict[kv.split(‘=‘)[0]]=kv.split(‘=‘)[1] 2、使用requests.get()中的参数:cookies
import requests class RenRenLogin(object): def __init__(self): # url为需要登录才能正常访问的地址 self.url = ‘http://www.renren.com/967469305/profile‘ self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36", } # 将字符串cookie转为字典格式 def cookie_to_dict(self,cookie_str): cookie_dic = {} for i in cookie_str.split(‘; ‘): cookie_dic[i.split(‘=‘)[0]] = i.split(‘=‘)[1] return cookie_dic # 获取个人主页响应 def get_html(self): cookie_str = ‘xxx‘ cookie_dict = self.cookie_to_dict(cookie_str) html = requests.get(url=self.url,headers=self.headers,verify=False,cookies=cookie_dict).text print(html) self.parse_html(html) # 可获取并解析整个人人网内需要登录才能访问的地址 def parse_html(self,html): pass if __name__ == ‘__main__‘: spider = RenRenLogin() spider.get_html()
标签：网页 isp windows print orm x64 bsp 模块 class
原文地址：https://www.cnblogs.com/maplethefox/p/11360356.html
