这里分享两个技巧 1.scrapy-redis分布式爬虫 我们知道scrapy-redis的工作原理，就是把原来scrapy自带的queue队列用redis数据库替换，队列都在redis数据库里面了，每次存，取，删，去重，都在redis数据库里进行，那我们如何使用分布式呢，假设机器A有redis数据 ...
分类：
其他好文 时间：
2018-02-10 21:55:29
阅读次数：
2570
原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） scrapy-redis组件 使用scrapy-redis的去重+调度实现分布式爬取 持久化 从Redis中获取起始URL # 完全复制粘贴过来的博客 ...
分类：
其他好文 时间：
2018-01-26 22:49:06
阅读次数：
310
注：本文是在http://www.111cn.net/sys/CentOS/63645.htm，http://www.cnblogs.com/kylinlin/p/5198233.html的基础上加以改动的！版权归alex.shu，kylinlin所有。 1.首先介绍一下：scrapy-redis框 ...
分类：
编程语言 时间：
2018-01-19 19:49:47
阅读次数：
301
首先我们更新一下scrapy版本。最新版为1.3 再说一遍Windows的小伙伴儿 pip是装不上Scrapy的。推荐使用anaconda 、不然还是老老实实用Linux吧。 安装Scrapy-Redis Python 版本为 2.7，3.4 或者3.5 。个人使用3.6版本也没有问题需要注意： R ...
分类：
其他好文 时间：
2017-12-27 18:14:43
阅读次数：
220
首先更大家说下 正式部署上线的爬虫会有分布式爬虫的需求 而且原本scrapy 的seen (判断重复url的池 不知道用啥词 已抓url吧 ) 保存在磁盘 url 队列 也是保存在磁盘 (保存在磁盘 对爬虫效率会极大影响) 如果是断点重爬 声明 jobdir 百分百是保存在磁盘 不申明jobdir ...
分类：
其他好文 时间：
2017-12-23 11:52:08
阅读次数：
156
爬虫的自我修养_7 一、scrapy-redis架构 scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下组件： Scheduler： Scrapy改造了python本来的collection.deque(双向队列)形成了自己的Scrapy queue(ht ...
分类：
编程语言 时间：
2017-12-16 14:55:13
阅读次数：
175
目录： scrapy-redis组件 scrapy-redis配置示例 scrapy-redis组件 一、scrapy-redis组件 1、scrapy-redis简介： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能 ...
分类：
编程语言 时间：
2017-10-30 14:37:03
阅读次数：
208
目标任务：将之前新浪网的Scrapy爬虫项目，修改为基于RedisSpider类的scrapy-redis分布式爬虫项目，将数据存入redis数据库。 一、item文件，和之前项目一样不需要改变 二、spiders爬虫文件，使用RedisSpider类替换之前的Spider类，其余地方做些许改动即可 ...
分类：
编程语言 时间：
2017-10-06 16:25:29
阅读次数：
218
下载scrapy-redis： https://github.com/rmax/scrapy-redis 下载zip文件之后解压 建立两个批处理文件，start.bat和clear.batstart.bat的内容为redis-server redis.windows.confclear.bat的内容 ...
分类：
其他好文 时间：
2017-09-20 23:13:14
阅读次数：
151
