码迷,mamicode.com
首页 > 编程语言 > 详细

python 在爬虫中timeout设置超时有什么作用

时间:2015-12-14 06:48:08      阅读:205      评论:0      收藏:0      [点我收藏+]

标签:

是为了防止url不可访问,或者响应速度太慢而造成的时间浪费。
比如,你要爬取1000个网站,如果有100个需要30s才能返回数据,
你等待他们返回的话就需要3000s了,如果你设置10s超时,那么就能知道最长需要多久1000个可以爬完。





1、调用test函数超时监控,使用sleep模拟函数执行超时
2、引入signal模块,设置handler捕获超时信息,返回断言错误
3、alarm(3),设置3秒闹钟,函数调用超时3秒则直接返回
4、捕获异常,打印超时信息
程序执行结果:
1 within time
2 within time
3 timeout
4 within time
5 within time
6 within time
7 timeout
8 within time
9 within time

 

python 在爬虫中timeout设置超时有什么作用

标签:

原文地址:http://www.cnblogs.com/chengbao/p/5044043.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!