码迷,mamicode.com
首页 > 编程语言 > 详细

《python3网络爬虫开发实战》--模拟登陆

时间:2018-10-18 00:49:58      阅读:196      评论:0      收藏:0      [点我收藏+]

标签:块存储   需要   方法   数据   自动生成   存储   还需要   --   设置   

1.cookies池的搭建

Cookies池需要有自动生成 Cookies、定时检测 Cookies、提供随机 Cookies等几大核心功能。

Cookies 池架构的基本模块分为 4 块:存储模块 、 生成模块、检测模块和接口模块 。 每个模块的

功能如下 。

  • 存储模块负责存储每个账号的用户名密码以及每个账号对应的 Cookies 信息,同时还需要提供一些方法来实现方便的存取操作 。
  • 生成模块负责生成新的 Cookies。 此模块会从存储模块逐个拿取账号的用户名和密码, 然后模拟登录目标页面,判断登录成功,就将 Cookies返回并交给存储模块存储。
  • 检测模块需要定时检测数据库中的 Cookies。 在这里我们需要设置一个检测链接,不同的站点检测链接不同,检测模块会逐个拿取账号对应的 Cookies 去请求链接,如果返回的状态是有效的,那么此 Cookies 没有失效,否则 Cookies 失效并移除 。 接下来等待生成模块重新生成即可。
  • 接口模块需要用 API来提供对外服务的接口 。 由于可用的 Cookies可能有多个 , 我们可以 随机返回 Cookies的接口,这样保证每个 Cookies都有可能被取到 。 Cookies越多 , 每个 Cookies被取到的概率就会越小,从而减少被封号的风险 。

2.cookies池的实现

 

《python3网络爬虫开发实战》--模拟登陆

标签:块存储   需要   方法   数据   自动生成   存储   还需要   --   设置   

原文地址:https://www.cnblogs.com/chengchengaqin/p/9807339.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!