码迷,mamicode.com
首页 > 其他好文 > 详细

暂停爬虫

时间:2017-10-05 16:15:15      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:define   需要   授权   efi   def   ril   获得   job   .com   

当我们一个爬虫项目量非常大时候,我们可能不能一次执行完毕,需要分好几次执行,这时候,我们只需要在启动爬虫的时候键入命令

scrapy crawl xxx -s JOBDIR=job1

这时候我们可以看到任务开始执行了,当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入:

scrapy crawl xxx -s JOBDIR=job1

这样就可以继续执行了~~



作者:Darkeril
链接:http://www.jianshu.com/p/e71ff6173302
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

暂停爬虫

标签:define   需要   授权   efi   def   ril   获得   job   .com   

原文地址:http://www.cnblogs.com/AbsolutelyPerfect/p/7629266.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!