原来的scrapy中的Scheduler维护的是当前机器中的任务队列（存放着Request对象以及回调函数等信息） + 当前的去重队列（存放访问过的url地址） 实现分布式的关键就是需要找一台专门的主机在上面运行一个共享的队列，比如redis。然后重写scrapy的Scheduler，让新的Sche ...
分类：
其他好文 时间：
2019-12-08 15:39:19
阅读次数：
168
Python Scrapy爬虫 预备知识： 1、Scrapy框架：是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。 2、Scrapy去重原理：Scrapy本身自带有一个中间件。scrapy源码中可以找到一个dupefilters.py去重器，需要将dont_filter设 ...
分类：
编程语言 时间：
2019-12-08 10:54:40
阅读次数：
107
转自https://www.jianshu.com/p/d0caf5d99e56 redis分布式锁的实现主要是基于redis的setnx 命令（setnx命令解释见：http://doc.redisfans.com/string/setnx.html），我们来看一下setnx命令的作用： redi ...
分类：
其他好文 时间：
2019-12-08 10:41:13
阅读次数：
82
中间有状态操作 "Java8 新特性 Stream 练习实例" 中间操作，就是把数据处理成自己想要的类型，并且有状态操作，是在所有的数据基础上进行操作的。比如dictinct（去重），sorted（排序）.... 所有的有状态操作： 去重 distinct 跳过 skip 截断 limit 排序 s ...
分类：
编程语言 时间：
2019-12-07 10:38:21
阅读次数：
487
问题：test_table 表中有 a,b,c 三个字段，求根据字段a 去除重复数据，得到去重后的整行数据 根据mysql的经验尝试以下方法均失败 1、使用 distinct 关键字 （oracle查询数据中，不允许非 distinct 标注字段 ）select count(distinct a), ...
分类：
数据库 时间：
2019-12-07 01:05:08
阅读次数：
160
import pymysqldef insert_db(db_table, issue, time_str, num_code): host = '127.0.0.1' user = 'root' password = 'root' port = 3306 db = 'lottery' data_b ...
分类：
编程语言 时间：
2019-12-06 21:20:40
阅读次数：
116
TreeSet:无序，不可重； 底层结构式是红黑树进行存储； 特点：默认从小到大排序； 可以定义比较规则,排序规则,并且可以使用去重原则： 内部比较器|自然排序: 实现Comparable接口,重写comparaTo方法,在方法中定义比较规则.,默认的比较规则； 外部比较器|指定比较器:实现一个Co ...
分类：
编程语言 时间：
2019-12-05 22:27:36
阅读次数：
103
var data = [ { province: 1, index:1}, { province: 2, index:3}, { province: 1, index:3}, { province: 2, index:2} ] 想要得到的格式 { province: 1, index:4}, { p ...
分类：
编程语言 时间：
2019-12-05 18:38:57
阅读次数：
161
# -*- coding: utf8 -*- set1 = set('abcd') set2 = set('cdef') print(set1 - set2) # 差集 set1相对与set2 多什么 print(set2 - set1) print(set1 | set2) # 并集，两个集合合并 ...
分类：
编程语言 时间：
2019-12-04 22:08:20
阅读次数：
101
冒泡排序 var arr = [1, 9, 4, 50, 49, 6, 3, 2]; function test(){ for (var i = 0; i < arr.length - 1; i++){ for (var j = i + 1; j < arr.length; j++){ var te ...
分类：
编程语言 时间：
2019-12-04 13:06:56
阅读次数：
79
