爬虫开发过程中 进程和线程的概念是非常重要的 提高爬虫的 工作效率 打造分布式爬虫 都离不开进程和线程的身影 多进程 多线程 协程 分布式进程等四个方面 使用os模块中的fork方法 使用multiprocessing模块 前者仅仅适用Unix/Linux操作系统 对windows不支持 后者是跨平 ...
分类：
编程语言 时间：
2018-07-04 13:24:44
阅读次数：
124
#启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使 ...
分类：
其他好文 时间：
2018-06-30 14:38:10
阅读次数：
165
创建项目scrapy startproject xxx 编写items文件 items.py scrapy genspider zhihu zhihu.com scrapy genspider -t craw doubanmovie douban.com ...
分类：
其他好文 时间：
2018-06-24 11:36:33
阅读次数：
129
1.开发环境准备 1.爬取策略 目标：爬取“伯乐在线”的所有文章 策略选择：由于“伯乐在线”提供了全部文章的索引页 ，所有不需要考虑url的去重方法，直接在索引页开始，一篇文章一篇文章地进行爬取，一直进行到最后一页即可。 索引页地址：http://blog.jobbole.com/all-posts ...
分类：
其他好文 时间：
2018-06-23 10:36:06
阅读次数：
699
我在想的一件事情就是相关的问题关于自己的学习计划的问题，自己的学习计划不断的不能完成每一阶段的任务，真的是比较烦的一件事情。 分类：通用爬虫、聚焦爬虫、分布式爬虫 网络是一个有向图，所以搜索操作可以总结为对有向图的遍历。爬虫通过web页面的图结构从一个页面到另一个页面。 Google具有较少的垃圾结 ...
分类：
其他好文 时间：
2018-06-14 20:52:14
阅读次数：
144
scrapy ： 一个框架，不能实现分布式爬取 scrapy-redis ： 基于这个框架开发的一套组件，可以让scrapy实现分布式的爬取 所以需要安装扩展库 ： pip install scrapy-redis 首先进入这个网站获取分布式爬虫样本 ： https://github.com/rma ...
分类：
其他好文 时间：
2018-06-09 15:27:41
阅读次数：
207
二、伯乐在线爬取所有文章 1. 初始化文件目录 基础环境 为了便于日后的部署：我们开发使用了虚拟环境。 scrapy项目初始化介绍 自行官网下载py35对应得whl文件进行pip离线安装Scrapy 1.3.3 安装时报错： Failed building wheel for Twisted 点击下 ...
分类：
其他好文 时间：
2018-05-29 19:04:38
阅读次数：
211
恢复内容开始 scrapy-redis使用以及剖析 点我 scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - ...
分类：
其他好文 时间：
2018-05-17 23:27:21
阅读次数：
634
恢复内容开始 安装 目的：帮助开发者实现分布式爬虫程序。 源码： // 连接redis @classmethod def from_settings(cls, settings): # 读取配置，连接redis server = get_redis_from_settings(settings) # ...
分类：
其他好文 时间：
2018-05-17 00:02:37
阅读次数：
241
背景 部门（东方IC、图虫）业务驱动，需要搜集大量图片资源，做数据分析，以及正版图片维权。前期主要用node做爬虫(业务比较简单，对node比较熟悉)。随着业务需求的变化，大规模爬虫遇到各种问题。python爬虫具有先天优势，社区资源比较齐全，各种框架也完美支持。爬虫性能也得到极大提升。本次分享从基 ...
分类：
编程语言 时间：
2018-05-11 20:02:06
阅读次数：
185
