码迷,mamicode.com
首页 > 系统相关 > 详细

[原创]Ubuntu下 使用scrapyd+Supervisor管理爬虫

时间:2016-04-11 17:00:39      阅读:1373      评论:0      收藏:0      [点我收藏+]

标签:

1、 安装 scrapyd

pip install scrapyd

2、 安装 scrapyd 客户端 scrapyd-client

pip install scrapyd-client

 3、 安装 supervisor. 这里一定要加sudo,否则会安装失败。我是root用户登录的,不知道为什么一定要加sudo?

sudo pip install supervisor

 4、 创建 supervisor 配置文件

echo_supervisord_conf > /etc/supervisord.conf

5、 在 supervisor 配置文件  /etc/supervisord.conf 末尾加入以下内容

[include]
files = /etc/supervisor/*.conf

 5、 在目录 /etc/supervisor/ 下创建项目配置文件 scrapyd.conf,参考配置如下

[program:scrapyd]
command=scrapyd
autorestart=true

 

 

 

 

[原创]Ubuntu下 使用scrapyd+Supervisor管理爬虫

标签:

原文地址:http://www.cnblogs.com/xueranzp/p/5379015.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!