一、Linux上安装scrapyd 1. linux下安装python3 可参考我之前博文：https://www.cnblogs.com/Liu928011/p/14864190.html 2. 安装scrapyd并配置软链接 安装scrapyd：pip3 install scrapyd 配置软链 ...
分类：
其他好文 时间：
2021-07-12 18:17:10
阅读次数：
0
15.5 Gerapy 分布式管理 我们可以通过 Scrapyd-Client 将 Scrapy 项目部署到 Scrapyd 上，并且可以通过 Scrapyd API 来控制 Scrapy 的运行。那么，我们是否可以做到更优化？方法是否可以更方便可控？ 我们重新分析一下当前可以优化的问题。 使用 S ...
分类：
其他好文 时间：
2020-07-17 13:42:06
阅读次数：
61
docker run -p 6800:6800 --name scrapy -e USERNAME=admin -e PASSWORD=admin cdrx/scrapyd-authenticated 命令中USERNAME=admin -e PASSWORD=admin 指定nginx服务的访问账 ...
分类：
其他好文 时间：
2020-07-05 19:16:38
阅读次数：
73
# -*- coding: utf-8 -*-"""语言版本：python：3.6.1scrapy：1.3.3功能：本蜘蛛主要演示如何爬取多个页面作者：cuanboy出处：http://www.scrapyd.cn （scrapy中文网）时间：2017年12月16日15:55:00运行：CMD模式进 ...
分类：
其他好文 时间：
2020-06-23 12:55:24
阅读次数：
48
crontab系统自带的调度命令，通过crontab命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。 crontab服务的重启关闭，开启 $sudo /et ...
分类：
其他好文 时间：
2020-06-13 11:28:34
阅读次数：
78
想问一下关于scrapyd部署时候出现了这个问题是什么原因，因为本人的scrapy是外部导包的现在把他改成了scrapy文件但有一个文件我加进去不是框架里面的文件。想问一下大佬怎么解决
分类：
其他好文 时间：
2020-03-23 18:50:51
阅读次数：
112
首先在同步两篇之前写过的博客，可能能用得到 1、https://www.cnblogs.com/lutt/p/10893192.html2、https://www.cnblogs.com/lutt/p/10895317.html在上述操作的过程中，在执行命令：scrapyd-deploy时遇报错： ...
分类：
其他好文 时间：
2020-02-22 14:04:32
阅读次数：
438
https://cuiqingcai.com/5445.html 安装 nginx 找到配置文件 find / -name nginx.conf 修改 http { server { listen 6801; location / { proxy_pass http://127.0.0.1:6800 ...
分类：
其他好文 时间：
2020-02-12 11:08:58
阅读次数：
210
现在安装 docker https://www.cnblogs.com/angdh/p/12197143.html 非dockerfile 方法 下拉 centos7的镜像 docker pull centos:7 使用 docker images 查看 镜像id docker run -it -- ...
分类：
编程语言 时间：
2020-02-04 00:03:17
阅读次数：
121
