码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy顺序执行多个爬虫

时间:2018-02-03 23:13:26      阅读:1287      评论:0      收藏:0      [点我收藏+]

标签:post   __file__   exec   shang   cut   abs   一个   aio   scrapy   

 1 # -*- coding:utf-8 -*-
 2 
 3 from scrapy import cmdline
 4 from scrapy.cmdline import execute
 5 import sys,time,os
 6 
 7 #会全部执行爬虫程序
 8 os.system(scrapy crawl ccdi)
 9 os.system(scrapy crawl ccxi)
10 #-----------------------------------------------------
11 
12 #只会执行第一个
13 cmdline.execute(scrapy crawl ccdi.split())
14 cmdline.execute(scrapy crawl ccxi.split())
15 #-----------------------------------------------------
16 
17 #只会执行第一个
18 sys.path.append(os.path.dirname(os.path.abspath(__file__)))  
19 execute(["scrapy", "crawl", "shanghaione"])  
20 time.sleep(30)  
21 
22 sys.path.append(os.path.dirname(os.path.abspath(__file__)))  
23 execute(["scrapy", "crawl", "shanghaitwo"]) 

 

scrapy顺序执行多个爬虫

标签:post   __file__   exec   shang   cut   abs   一个   aio   scrapy   

原文地址:https://www.cnblogs.com/zhouxinfei/p/8410781.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!