码迷,mamicode.com
首页 > 其他好文 > 详细

用Flask+Redis维护代理池

时间:2018-12-11 13:06:52      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:读取   图片   问题   redis   联网   .com   flask   检测   接口   

为什么要用代理池?

  • 许多网站有专门的反爬虫措施,可能遇到封IP等问题。
  • 互联网上公开了大量免费的代理,利用好资源。
  • 通过定时的检测维护同样可以得到多个可用的代理。

    代理池要求

  • 多站抓取,异步检测
  • 定时筛选,持续更新
  • 提供接口,易于读取

    代理池架构

    技术分享图片

用Flask+Redis维护代理池

标签:读取   图片   问题   redis   联网   .com   flask   检测   接口   

原文地址:https://www.cnblogs.com/carious/p/10101270.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!