Scrapy改成Scrapy-Redis

标签：容器   lte   容器类   spi   item   爬取   lin   nes   数据   

1. 增加去重容器类配置,
DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”

2. 增加调度配置,
SCHEDULER = “scrapy_redis.scheduler.Scheduler”

3. 配置调度器持久化, 爬虫结束, 要不要清空Redis中请求队列和去重指纹的set。如果True, 就表示要持久化存储, 否则清空数据
SCHEDULER_PERSIST = True

ITEM_PIPELINES = { 
# 把爬虫爬取的数据存储到Redis数据库中 
‘scrapy_redis.pipelines.RedisPipeline’: 400, 
}

Scrapy改成Scrapy-Redis

标签：容器   lte   容器类   spi   item   爬取   lin   nes   数据   

原文地址：https://www.cnblogs.com/liubosong/p/10350035.html