python socket.error: [Errno 10054] 解决方法

标签：http   超时   erro   2.7   response   时间   ror   com   csdn   

我用的是python2.7   我搜网上10054错误解决方法的时候发现，大部分文章都是以python3为基础的，对于python2不适用。

python socket.error: [Errno 10054]  远程主机强迫关闭了一个现有的连接。

原因：服务器发现你的爬虫行为了，所有强制断开链接了

解决办法：  服务器知道你是爬虫，加headers, 模拟浏览器agent；head中有一个user-agent每次都换不同的模拟代理

#coding:utf-8
import urllib2

url =‘http://www.baidu.com‘  #例子
headers = {‘User-agent‘ : ‘Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0‘}
request = urllib2.Request(url, headers = headers)
response = urllib2.urlopen(request,timeout=20)

if response.getcode()==200:
    print response.read()

一般请求服务器爬取网页时，我都不加headers的，但是我最近再爬取之前爬取的网页时，就出现了404错误，可是发现了我的爬虫行为。加了headers之后，就又可以正常爬取了。

python socket.error: [Errno 10054] 解决方法

标签：http   超时   erro   2.7   response   时间   ror   com   csdn   

原文地址：http://www.cnblogs.com/yiyezhouming/p/6846139.html