码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy部署

时间:2019-11-19 00:50:12      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:spider   配置文件   报错   去掉   Scrapyd   width   window   为我   home   

 

 

pip install scrapyd

安装完毕后,查看scrapyd的配置文件,scrapyd会在如下位置依次查找配置文件,并以最后一个找到的配置文件为准进行配置
    /etc/scrapyd/scrapyd.conf (Unix)
    c:\scrapyd\scrapyd.conf (Windows)
    /etc/scrapyd/conf.d/* (in alphabetical order, Unix)
    scrapyd.conf
    ~/.scrapyd.conf (users home directory)
查看scrapyd的安装目录  */site-packages/scrapyd,发现有一个default_scrapyd.conf默认配置文件,打开该文件,显示如下内容
    这里有一个名为bind_address的选项,默认值为127.0.0.1,我们将其改为0.0.0.0( 在服务器中,0.0.0.0指的是本机上的所有IPV4地址,如果一个主机有多个IP地址,并且该主机上的一个服务监听的地址是0.0.0.0,那么通过多个ip地址都能够访问该服务。)
 

技术图片

 

 

执行命令启动scrapyd 

当我执行完命令后报错,说是找不到命令:

技术图片

 

那是因为我系统上python2与3并存,所以找不到,这时应该做软连接:

我的python3路径:  /usr/local/python3

制作软连接: ln -s /usr/local/python3/bin/scrapy  /usr/bin/scrapy

scrapyd &启动后台服务
 
打开浏览器,输入 服务端地址:6800,显示如下页面,配置成功技术图片
 

 

  • 客户端安装部署
    pip install scrapyd-client
 
执行完毕后,找到scrapy-client的安装目录,发现一个名为scrapyd-deploy的文件,我们把它复制到scrapy项目中与scrapy.cfg同级的目录中(不复制也可以,但这样操作会方便一点)
 
打开scrapy.cfg文件,有如下内容,需要做的就是把[deploy]改为[deploy:mingzi]的形式,mingzi名称自拟,然后再把url前的注释去掉,并且将地址改为scrapyd的服务器地址。

 

  • 打开爬虫项目scrapy.cfg
  • 【deploy】去掉url注释(url前# 去掉)
  • 【settings】将deploy的url复制一份到setting中

python scrapyd-deploy -l来查看 爬虫 的配置情况 

python scrapyd-deploy -L mingzi  查看名为mingzi  的target下可用的爬虫项目

 

python scrapy-deploy mingzi  -p toolspider 将mingzi  中的toolspider项目部署到scrapyd服务端

 

 


https://www.cnblogs.com/wangqinkuan/p/9990652.html

 

 

------------恢复内容结束------------

scrapy部署

标签:spider   配置文件   报错   去掉   Scrapyd   width   window   为我   home   

原文地址:https://www.cnblogs.com/angdh/p/11886519.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!