爬虫学习——URL管理器和实现方法

标签：重复   http   img   mysql   image   关系   技术   学习   爬取   

url管理器一共有三种实现方法，作为个人，我们应当选择哪种实现方法呢？答案就在下面

爬虫的简单架构

一、URL管理器

实现方式：有三种

1.内存中

python中set()可以直接去除重复的元素

2.关系数据库中

比如：mysql中的urls（url,is_crawled）

建立一个urls表包含两个字段url(待爬取)和is_crawled（已爬取）。

3.缓存数据库

比如：redis

本身就包含set关系型数据结构

 缓存数据库具有高性能：大公司首选

个人和小公司可用python内存作为存储，

存储不足，想要永久存储可选用关系型数据库

爬虫学习——URL管理器和实现方法

标签：重复   http   img   mysql   image   关系   技术   学习   爬取   

原文地址：http://www.cnblogs.com/ryuuku/p/7131053.html