标签：style rap src 内存占用 空间 png 占用 image com
第1种，太麻烦，不常用
第2种，当1亿条url时，占用内存过大，达9G
第3种，是第2种的优化，scrapy 用的即是第3种方法，可成倍减少内存占用，且不会重复
第4种，会大幅节省内存，1亿条url，占用空间：12M。但会出现冲突，把多个url算到一个位上去
第5种，是对4条的优化，减少冲突
标签：style rap src 内存占用 空间 png 占用 image com
原文地址：https://www.cnblogs.com/chenxi188/p/10730463.html
