一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-19 09:54:32
阅读次数：
118
原文: http://blog.gqylpy.com/gqy/370 "__Scrapy框架无法自己实现分布式，原因有二__ 1. 多台机器上部署的Scrapy各自拥有各自的调度器，这样就使得多台机器无法分配 列表中的url，即多台机器无法共享同一个调度器。 2. 多台机器爬取到的数据无法通过同一个 ...
分类：
其他好文 时间：
2019-08-18 23:44:33
阅读次数：
108
原文: http://blog.gqylpy.com/gqy/321 " " 原文: http://blog.gqylpy.com/gqy/321 ...
分类：
编程语言 时间：
2019-08-18 16:04:23
阅读次数：
98
# coding=utf-8 import requests from bs4 import BeautifulSoup import time from multiprocessing import Pool import threading from requests.adapters impo... ...
分类：
其他好文 时间：
2019-08-18 15:25:15
阅读次数：
99
一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-18 11:44:04
阅读次数：
79
Bigdata： 结构化数据：有严格约束 半结构化数据： 非结构化数据：没有元数据 搜索引擎：搜索组件+索引组件（存放数据 由蜘蛛程序爬取而来） 2003年 Google发表第一篇论文 The Google File System 解决大量数据存储 GFS文件系统 系统阐述了采取商业计算机集群就是普 ...
分类：
其他好文 时间：
2019-08-17 19:49:38
阅读次数：
99
最近想爬取淘宝的一些商品，但是发现如果要使用搜索等一些功能时基本都需要登录，所以就想出一篇模拟登录淘宝的文章！看了下网上有很多关于模拟登录淘宝，但是基本都是使用scrapy、pyppeteer、selenium等库来模拟登录，但是目前我们还没有讲到这些库，只讲了requests库，那我们今天就来使用 ...
分类：
编程语言 时间：
2019-08-16 13:22:58
阅读次数：
155
