标签：ges 存储 html解析器 分享图片 载器 oss .com ext 启动
爬虫调度器：启动/停止爬虫，规定爬虫的范围；
URL管理器：管理2个URL：新的没有爬过的urls；旧的爬过的urls；
URL下载器：下载url对应的html数据；
HTML解析器：解析并过滤下载到的html数据；
数据输出器：把解析过滤后的数据，按一定的格式存储到对应的文件中。
标签：ges 存储 html解析器 分享图片 载器 oss .com ext 启动
原文地址：http://blog.51cto.com/5567475/2132586
