码迷,mamicode.com
首页 > 数据库 > 详细

一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django

时间:2014-07-28 16:03:03      阅读:673      评论:0      收藏:0      [点我收藏+]

标签:一淘   分析   django   webkit   scrapy   

bubuko.com,布布扣结构图

scrapy+webkit:

如结构图③。
scrapy不能实现对javascript的处理,所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或者功能更强大的splash.

关于scrapy+webkit的使用后期进行分析。

scrapy+django:

如结构图④。
django实现的配置界面主要是对抓取系统的管理和配置,包括:站点feed、页面模块抽取、报表系统的反馈等等。


请直接参考:
[1]快速构建实时抓取集群

[2]淘宝摘星

文章链接:http://blog.csdn.net/u012150179/article/details/38227079

一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django,布布扣,bubuko.com

一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django

标签:一淘   分析   django   webkit   scrapy   

原文地址:http://blog.csdn.net/u012150179/article/details/38227079

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!