码迷,mamicode.com
首页 > 其他好文 > 详细

scrapyd部署scrapy项目

时间:2019-11-15 12:30:13      阅读:63      评论:0      收藏:0      [点我收藏+]

标签:ima   访问   输入   启动   cancel   服务   info   obs   安装   

安装scrapyd服务端:

pip install scrapyd

1、安装完成后在终端中输入scrapyd命令技术图片

 

在浏览器上访问该地址,看到如下图,则表示安装成功,服务端启动

技术图片

 

2、安装scrapyd客户端

pip install scrapyd-client

执行scrapyd-deploy看到下面的则表示安装成功

技术图片

 

3、修改scrapy项目中的scrapy.cfg

 

 

技术图片

 

 

 

 

 

 4、执行scrapyd-deploy -l

技术图片

 

 

5、scrapyd-deploy bd(你给deploy起的名字) -p pro1(项目名) 

 

查看scrapyd当前的服务和任务状态:curl http://localhost:6800/daemonstatus.json 

部署scrapy项目:curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg

启动爬虫:curl http://localhost:6800/schedule.json -d project=项目名 -d spider=蜘蛛名

关闭爬虫:curl http://localhost:6800/cancel.json -d project=项目名 -d job=任务id

列出所有部署的项目:curl http://localhost:6800/listprojects.json

查询某个项目的版本号:curl http://localhost:6800/listversions.json?project=项目名

查询某个项目最新的爬虫名:curl http://localhost:6800/listspiders.json?project=项目名

查看当前运行的任务的详情:curl http://localhost:6800/listjobs.json?project=项目名

删除项目的某个版本:curl http://localhost:6800/delversion.json -d project=项目名 -d bersion=版本号

删除项目某个:curl  http://localhost:6800/delproject.json -d project=项目名 

scrapyd部署scrapy项目

标签:ima   访问   输入   启动   cancel   服务   info   obs   安装   

原文地址:https://www.cnblogs.com/dreamall/p/11865198.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!