码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy的暂停与重启

时间:2018-10-04 09:26:03      阅读:209      评论:0      收藏:0      [点我收藏+]

标签:文件   bsp   awl   设置   spider   settings   rap   setting   强制退出   

首先把爬虫写好后————》在同级文件夹新建一个文件夹(类似于日志)info————》接下来打开命令行cd到这个爬虫

————》输入命令:

scrapy crawl spider -s JOBDIR=info/001   开启
ctrl+c 暂停
注意不能按两次,两次是强制退出了,不是暂停了

暂停之后需要重启第一行命令:scrapy crawl spider -s JOBDIR=info/001

custom_settings = {

  "JOBDIR":"info/001"

}

或者直接在settings上设置

"JOBDIR":"info/001"

尽量在命令行上做

 

scrapy的暂停与重启

标签:文件   bsp   awl   设置   spider   settings   rap   setting   强制退出   

原文地址:https://www.cnblogs.com/ArtisticMonk/p/9741264.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!