之前我们的爬虫都是单机爬取，也是单机维护REQUEST队列， 看一下单机的流程图： 一台主机控制一个队列，现在我要把它放在多机执行，会产生一个事情就是做重复的爬取，毫无意义，所以分布式爬虫的第一个难点出来了，共享请求队列，看一下架构： 三台主机由一个队列控制，意味着还需要一个主机来控制队列，我们一般 ...
分类：
编程语言 时间：
2018-02-21 15:48:14
阅读次数：
218
这里分享两个技巧 1.scrapy-redis分布式爬虫 我们知道scrapy-redis的工作原理，就是把原来scrapy自带的queue队列用redis数据库替换，队列都在redis数据库里面了，每次存，取，删，去重，都在redis数据库里进行，那我们如何使用分布式呢，假设机器A有redis数据 ...
分类：
其他好文 时间：
2018-02-10 21:55:29
阅读次数：
2570
Technorati 标签: 分布式爬虫 Linux环境下安装mysqlsudo apt-get install mysqlserver 然后可以查看是否启动 ps aux | grep mysqld 登录mysql -uroot -proot? 如何让虚拟机中的mysql被外界访问到。sudo v... ...
分类：
其他好文 时间：
2018-01-27 13:43:27
阅读次数：
249
阅读目录 第一篇：爬虫基本原理 第二篇：请求库之requests，selenium 第三篇：解析库之re、beautifulsoup、pyquery 第四篇：存储库之mongodb，redis，mysql 第五篇：爬虫高性能相关 第六篇：Scrapy框架 第七篇：分布式爬虫 参考资料：http:// ...
分类：
其他好文 时间：
2018-01-26 23:04:25
阅读次数：
345
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2018-01-26 22:54:56
阅读次数：
172
原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） scrapy-redis组件 使用scrapy-redis的去重+调度实现分布式爬取 持久化 从Redis中获取起始URL # 完全复制粘贴过来的博客 ...
分类：
其他好文 时间：
2018-01-26 22:49:06
阅读次数：
310
通过Scrapy模拟登陆知乎 通过命令让系统自动新建zhihu.py文件 首先进入工程目录下 再进入虚拟环境 通过genspider命令新建zhihu.py 新建main.py文件，使得程序可以调试 在运行main.py调试之前,需要设置setting.py的文件内容(设置不遵循ROBO协议，防止很 ...
分类：
其他好文 时间：
2018-01-21 16:24:58
阅读次数：
303
注：本文是在http://www.111cn.net/sys/CentOS/63645.htm，http://www.cnblogs.com/kylinlin/p/5198233.html的基础上加以改动的！版权归alex.shu，kylinlin所有。 1.首先介绍一下：scrapy-redis框 ...
分类：
编程语言 时间：
2018-01-19 19:49:47
阅读次数：
301
注意：前面讲到的各种操作都是一次http请求操作一条数据，如果想要操作多条数据就会产生多次请求，所以就有了mget和bulk批量操作，mget和bulk批量操作是一次请求可以操作多条数据 1、mget批量操作（查询） 批量操作(同一个索引同一个表里的批量查询) 说明： 代码： 批量操作(同一个索引同 ...
分类：
编程语言 时间：
2018-01-03 14:13:53
阅读次数：
181
