码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫(二)

时间:2020-07-04 15:01:01      阅读:59      评论:0      收藏:0      [点我收藏+]

标签:ade   代理服务器   lock   www   block   并且   导致   close   免费代理   

报错自查

# 1、 HttpConnectionPool:
# 原因: 1、短时间内发起了高频的请求导致IP被禁
# 2、http连接池中的连接资源被耗尽
# 解决:
# 1、 使用代理服务器
# 2、headers中加入 Connection: ‘close‘

# 2、代理:代理服务器,可以接受请求将其转发。
# 匿名度:
# 高匿名:啥也不知道
# 匿名:知道你使用了代理,但是不知道你的真实IP
# 透明:知道你使用了代理并且知道你的真实IP
# 类型:
# http
# https
# 免费代理:
# www.goubanjia.com
# 快代理
# 西祠代理
# 收费:
# http://http.zhiliandaili.cn/ 代理精灵
    
    # cookie的处理










---------------------   end  --------------------------

爬虫(二)

标签:ade   代理服务器   lock   www   block   并且   导致   close   免费代理   

原文地址:https://www.cnblogs.com/quanag/p/13234810.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!