Scrapy、ScrapyRedis使用

标签：als   感想   地方   出现   引用传递   一个   redis   反序   数据库   

Scrapy的爬虫添加redis支持的时，会出现的坑：

1. 在Scrapy中request对象在传递时，是引用传递，即在一处修改了request，那么在其他地方也会改变；而换成redis后，这个会变为值传递；原因？request对象是从redis数据库中反序列化过来的；
2. 关于禁用duplacte filter; 在scrapy的原始爬虫中，设置一个变量即可；但在scrapy redis中，需要自己重新定义一个返回值为false的类，否则会报错，查看详细的报错原因可得；

这段时间使用python的感想

• python对于简单的问题处理，确实很方便，但真正用起来后，会有不少知识需要学习，并不是一个python简明教程可以搞定的；也许是知识不足，python还并不稳定，比如说，python解释器直接崩溃？

Scrapy、ScrapyRedis使用

标签：als   感想   地方   出现   引用传递   一个   redis   反序   数据库   

原文地址：https://www.cnblogs.com/FairlyHarmony/p/11403496.html