码迷,mamicode.com
首页 > 其他好文 > 详细

搭建免费代理池

时间:2020-04-08 22:38:29      阅读:103      评论:0      收藏:0      [点我收藏+]

标签:password   inf   width   安装   github   测试   目录   收费   arm   

搭建免费代理池

https://github.com/jhao104/proxy_pool

# 收费的:提供给你一个接口,每调一次这个接口,获得一个代理
# 免费:用爬虫爬取,免费代理,放到我的库中,flask,django搭一个服务(删除代理,自动测试代理可用性),每次发一个请求,获取一个代理

# 带你配置

# 1 下载,解压,用pycharm打开
# 2 安装依赖 pip install -r requirements.txt
# 3 配置Config/setting.py:
    DB_TYPE = getenv(db_type, redis).upper()
    DB_HOST = getenv(db_host, 127.0.0.1)
    DB_PORT = getenv(db_port, 6379)
    DB_PASSWORD = getenv(db_password, ‘‘)
# 4 本地启动redis-server

# 5 可以在cli目录下通过ProxyPool.py
    -python proxyPool.py schedule :调度程序,他会取自动爬取免费代理
    -python proxyPool.py webserver:启动api服务,把flask启动起来

技术图片

 

搭建免费代理池

标签:password   inf   width   安装   github   测试   目录   收费   arm   

原文地址:https://www.cnblogs.com/baohanblog/p/12663118.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!