一，介绍 1.scrapy框架为何不能实现分布式？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法 ...
分类：
其他好文 时间：
2018-11-02 23:44:09
阅读次数：
142
本篇文章将从实战角度来介绍如何构建一个稳健的分布式微博爬虫。这里我没敢谈高效，抓过微博数据的同学应该都知道微博的反爬虫能力，也知道微博数据抓取的瓶颈在哪里。我在知乎上看过一些同学的说法，把微博的数据抓取难度简单化了，我只能说，那是你太naive，没深入了解和长期抓取而已。本文将会以PC端微博进行讲解，因为移动端微博数据不如PC短全面，而且抓取和解析难度都会小一些。文章比较长，由于篇幅所限，文章并没
分类：
其他好文 时间：
2018-10-31 15:43:36
阅读次数：
219
scrapy_redis是一个基于redis的scrapy组件，通过它可以快速实现简单的分布式爬虫程序，该组件主要提供三大功能： （1）dupefilter——URL去重规则（被调度器使用） （2）scheduler——调度器 （3）pipeline——数据持久化 一、安装redis 去官网下载re ...
分类：
其他好文 时间：
2018-10-29 11:54:12
阅读次数：
487
scrapy redis使用以及剖析 scrapy redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler 调度器 dupefilter URL去重规则（被调度器使用） pipeline 数据持久化 sc ...
分类：
其他好文 时间：
2018-10-21 21:59:22
阅读次数：
207
scrapy的组建scrapy Engine ,scheduler,downloader,spider,item pipeline ,在编写爬虫程序一般用到的组件是 spider,item,pipeline,middleware scrapy-redis 改写了scrapy的spider,pipel ...
分类：
其他好文 时间：
2018-10-19 16:04:31
阅读次数：
166
一、环境搭建 1.python 2.7 2.pip ，并设置pip源 (1)配置pip conf ，自动设置源 #mkdir ~/.pip #vim ~/.pip/pip.conf [gloabal] index-url=https://pypi.tuna.tsinghua.edu.cn/simpl ...
分类：
其他好文 时间：
2018-10-18 10:49:52
阅读次数：
114
https://mp.weixin.qq.com/s?__biz=MzIxMjE5MTE1Nw==&mid=2653195618&idx=2&sn=b7e992da6bd1b24fae8a285fbbe1bd38&chksm=8c99ffb8bbee76ae2b6fc5f265fb586edc8ce ...
分类：
其他好文 时间：
2018-10-17 11:01:30
阅读次数：
239
使用Docker Swarm部署任何分布式程序，简单快速又方便。 ...
分类：
其他好文 时间：
2018-10-14 17:48:28
阅读次数：
167
分布式问题： request队列集中管理 去重集中管理 储存管理 可以上github上面找一下scrapy-redis 相关模块 redis settings相关设置 运行分布式爬虫 其他的也就差不多一样的了 ...
分类：
其他好文 时间：
2018-10-07 14:35:08
阅读次数：
170
第1章 课程介绍欢迎大家来到深度讲解Go语言的课堂。本课程将从基本语法讲起，逐渐深入，帮助同学深度理解Go语言面向接口，函数式编程，错误处理，测试，并行计算等元素，并带领大家实现一个分布式爬虫的实战项目。1-1 课程导读1-2 安装与环境 第2章 基础语法量，常量，类型，选择，循环，函数，指针，本章 ...
分类：
编程语言 时间：
2018-10-04 00:02:44
阅读次数：
342
