码迷,mamicode.com
首页 > 其他好文 > 详细

二十一:scrapy中设置下载延时与自动限速

时间:2020-06-17 14:24:07      阅读:290      评论:0      收藏:0      [点我收藏+]

标签:nload   延迟   als   tle   连接   scrapy   ble   都差不多   网站   

1、DOWNLOAD_DELAY

  在settings中设置  DOWNLOAD_DELAY=2  #延时2秒,不能动态改变,导致访问延时都差不多,也容易被发现

2、RANDOMIZE_DOWNLOAD_DELAY

  在settings中设置  RANDOMIZE_DOWNLOAD_DELAY=True  # 启用后,当从相同的网站获取数据时,Scrapy将会等待一个随机的值,延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY

3、通过自动限速扩展

  自动限速扩展能够根据Scrapy服务器及爬取的网站的负载自动限制爬取速度。

  原理:在scrapy中,下载延迟是通过计算建立TCP连接到接收到HTTP包头(header)之间的时间来测量的。

  使用的限速算法根据规则调整下载延迟及并发数

  (1)spider永远以1并发请求数及AUTOTHROTTLE_START_DELAY中指定的下载延迟启动

  (2)当接收到回复时,下载延迟会调整到该回复的延迟与之间下载延迟之间的平均值

  通过配置settings中的字段来开启自动限速扩展

  (1)AUTOTHROTTLE_ENABLED:默认为False,设置为True可以启用该扩展

  (2)AUTOTHROTTLE_START_DELAY:初始下载延迟,单位为秒,默认为5.0

  (3)AUTOTHROTTLE_MAX_DELAY:设置在高延迟情况下的下载延迟,单位为秒,默认为60

  (4)AUTOTHROTTLE_DEBUG:用于启动Debug模式,默认为False

  (5)CONCURRENT_REQUESTS_PER_DOMAIN:对单个网站进行并发请求的最大值,默认为8

  (6)CONCURENT_REQUESTS_PER_IP:对单个IP进行并发请求的最大值,如果非0,则忽略CONCURRENT_REQUESTS_PER_DOMAIN设定,使用该IP限制设定。

二十一:scrapy中设置下载延时与自动限速

标签:nload   延迟   als   tle   连接   scrapy   ble   都差不多   网站   

原文地址:https://www.cnblogs.com/nuochengze/p/13152156.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!