scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 一、scrapy-redis组件 1. UR ...
分类：
其他好文 时间：
2017-09-06 18:23:28
阅读次数：
131
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 ...
分类：
其他好文 时间：
2017-09-06 00:41:56
阅读次数：
102
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 ...
分类：
其他好文 时间：
2017-09-05 19:40:35
阅读次数：
197
分布式爬虫概述 什么是分布式爬虫： 多个爬虫分布在不同的服务器上，通过状态管理器进行统一调度，达到像URL去重等功能的爬虫系统 分布式爬虫的优点 1） 充分利用多台机器的宽带加速 2）充分利用多机器的IP加速爬取速度 Scrapy分布式爬虫原理 单机Scrapy爬虫架构 分布式爬虫需要改进的Scra ...
分类：
其他好文 时间：
2017-08-08 20:06:58
阅读次数：
163
有些关于URL去重的方面代码没有提供，须要自己去实现。主要这里提供思路 项目地址:http://git.oschina.net/woshidaniu/GuozhongCrawler/tree/master/example/changeProxyIp/ 首先爬虫入口类： public class Pe ...
分类：
其他好文 时间：
2017-08-06 16:01:31
阅读次数：
193
Bloom Filter（BF） 是由Bloom在1970年提出的一种多哈希函数映射的高速查找算法，用于高速查找某个元素是否属于集合， 但不要求百分百的准确率。 Bloom filter通经常使用于爬虫的url去重，即推断某个url是否已经被爬过。 原理方面我引用一篇别人的文章。讲的比較清晰了。在此 ...
分类：
Web程序 时间：
2017-07-15 15:47:18
阅读次数：
208
常见的伪静态链接: 1、http://xue.zbj.com/live/livecollege/list/237 解决方法，以 / 分割参数，生成list，用一次pop之后(比较倒数第二个参数是否相同)，以此递进 2、url中带有日期 2017-03-27或者2017/03/27 ，用 {int}替 ...
分类：
Web程序 时间：
2017-03-28 00:11:19
阅读次数：
241
最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。 1、larbin的URL去重用的很高效的bloom filter算法； 2、DNS处理，使用的adns异步的开源组件； 3、对于url队列的处理，则是用部分缓存到内存，部分写入 ...
分类：
编程语言 时间：
2016-07-22 21:10:05
阅读次数：
236
python+flask+jieba+mongodb+whoosh实现自己的搜索引擎 一、目录 二、基于python的爬虫 三、网页去燥，URL去重 四、基于mongodb的数据存储 五、基于whoosh的全文搜索 六、基于flask的web应用 ...
分类：
数据库 时间：
2016-04-14 06:45:02
阅读次数：
1040
