码迷,mamicode.com
首页 > 其他好文 > 详细

已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy

时间:2014-09-07 17:20:55      阅读:226      评论:0      收藏:0      [点我收藏+]

标签:style   http   color   使用   ar   strong   文件   问题   sp   

1.代码升级

之前的问题:

随着Scrapy库的流行,scrapy-redis作为使用redis支持分布式爬取的工具,也不断的被大家发现。

但是,使用过程中你会发现的问题是由于scrapy-redis是基于较老版本的Scrapy,所以当你使用的是新版本的Scrapy时,不可避免的会出现警告,甚至错误。

关于这个问题,我总结之后在scrapy-redis库中提了出来并开了issue和作者做了讨论,在确定思路后,就着手进行代码升级。

解决:

花了一段时间修改后向原代码库提交的pull request,作者已经merge了。地址:https://github.com/darkrho/scrapy-redis

其它:

如果你在使用中发现了什么问题,如果是和兼容性升级相关的,还请给我发个邮件或是直接在github上开个issue。

2.关于Travis CI

也是在参与这个项目中,才开始了解它。经常在README中发现的build图标表明的就是使用Travis CI进行构建后的状态。

Travis CI,为开源社区提供的云端持续集成服务。其作用就是在云端构建并反馈构建状态。只需在相应的代码库配置中安装Travis的hook并在库的根目录下配置.travis.yml文件。具体的可参见doc。

已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy

标签:style   http   color   使用   ar   strong   文件   问题   sp   

原文地址:http://blog.csdn.net/u012150179/article/details/39120265

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!