标签：爬虫 同步 需要 rap 管理 git 运行 很多 实现
在前一章我们成功实现了分布式爬虫，但是在这个过程中我们发现有很多不方便的地方。
在将 Scrapy 项目放到各台主机运行时，你可能采用的是文件上传或者 Git 同步的方式，但这样需要各台主机都进行操作，如果有 100 台、1000 台主机，那工作量可想而知。
本章我们就来了解一下，分布式爬虫部署方面可以采取的一些措施，以方便地实现批量部署和管理。
标签：爬虫 同步 需要 rap 管理 git 运行 很多 实现
原文地址：https://www.cnblogs.com/ciquankun/p/13329293.html
