码迷,mamicode.com
首页 > 其他好文 > 详细

21.scrapy爬虫部署

时间:2018-09-12 20:06:22      阅读:197      评论:0      收藏:0      [点我收藏+]

标签:tar   防火墙   admin   l命令   入站规则   ini   html   技术   .json   


1.启用 scrapyd
技术分享图片

 

2.

在浏览器打开127.0.0.1:6800/

技术分享图片

 

3.

scrapy.cfg 设置

技术分享图片

 

4.

遇到问题: scrapyd-deploy 不是内部命令

技术分享图片

 编辑 两个配置文件

@echo off
"C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe" "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Scripts\scrapy" %*

并添加到环境变量里

5.

部署成功

技术分享图片

 

用 scrapyd-deploy -l 验证

 技术分享图片

可以看到有一个可用的 projects

技术分享图片

 

6.启动爬虫使用curl命令

curl http://127.0.0.1/6800/schedule.json -d project=tutorial -d spider=QuotesSpider

 

windows  安装curl http://curl.haxx.se/download.html

将 curl.exe 放到c盘 system32 就可以全局使用

 

技术分享图片

 

技术分享图片

防火墙 高级设置  入站规则 新建规则 端口 根据情况 下一步就可以

这里 执行爬虫程序出了一点问题没有解决,明天再解决。

 

21.scrapy爬虫部署

标签:tar   防火墙   admin   l命令   入站规则   ini   html   技术   .json   

原文地址:https://www.cnblogs.com/lvjing/p/9636291.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!