Scrapy-Redis的安装和使用

标签：扩展   安装和使用   爬虫   import   port   down   pip3   imp   文件   

Scrapy-Redis是Scrapy的分布式扩展模块，有了它，我们就可以方便地实现Scrapy分布式爬虫的搭建。
GitHub：https://github.com/rmax/scrapy-redis
PyPI：https://pypi.python.org/pypi/scrapy-redis
官方文档：http://scrapy-redis.readthedocs.io

一、安装Scrapy-Redis

pip3 install scrapy-redis

也可以下载wheel文件安装https://pypi.python.org/pypi/scrapy-redis#downloads

测试：
import scrapy_redis #不报错即可

Scrapy-Redis的安装和使用

标签：扩展   安装和使用   爬虫   import   port   down   pip3   imp   文件   

原文地址：https://www.cnblogs.com/xuyingzhong/p/9345815.html