一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2021-02-02 11:24:43
阅读次数：
0
某些路由器具有所谓的流量控制中具有“惩罚性限速”的功能：（例如）192.168.1.100在120秒内平均速率超过100KB/S，那么把该IP列入惩罚队列，惩罚队列速率是40KB/S. 其实，利用iptables的也可以实现类似的功能。脚本如下： iptables -t mangle -N LMT ...
分类：
其他好文 时间：
2021-02-02 11:00:48
阅读次数：
0
新学期开始了，小哈是小哼的新同桌（小哈是个小美女哦~），小哼向小哈询问 QQ 号，小哈当然不会直接告诉小哼啦，原因嘛你懂的。所以小哈给了小哼一串加密过的数字，同时小哈也告诉了小哼解密规则。规则是这样的：首先将第 1 个数删除，紧接着将第 2 个数放到这串数的末尾，再将第 3个数删除并将第 4 个数再 ...
分类：
编程语言 时间：
2021-02-02 10:51:15
阅读次数：
0
https://codeforces.com/problemset/problem/754/D 题意： 给定n组区间，要求选出k组区间保证其交集最大，并输出选出的区间 思路： 区间贪心，优先队列算一下天数即可。 代码： #include<iostream> #include<stdio.h> #in ...
分类：
其他好文 时间：
2021-02-02 10:51:00
阅读次数：
0
【消息队列高手课】- 基础篇 消息队列都有哪些选择： RabbitMQ - 特色：Exchange模块，开箱即用 RocketMQ - 特色：低延迟和金融级的稳定性 Kafka - 特色：海量，异步批量，“先攒一波再一起处理” ActiveMQ：队列模型和发布-订阅模型都支持 ZeroMQ Puls ...
分类：
其他好文 时间：
2021-02-02 10:44:45
阅读次数：
0
本文列举了消息队列RocketMQ常用的消息类型，以及使用这些消息类型的注意事项 ...
分类：
其他好文 时间：
2021-02-02 10:43:16
阅读次数：
0
package com.dai.linkedList; public class Josepfu { public static void main(String[] args) { // 构建环形链表和遍历是否ok CircleSingleLinkedList circleSingleLinked ...
分类：
其他好文 时间：
2021-02-02 10:33:04
阅读次数：
0
事务(事务不保证原子性，没有回滚） 原理：所有命令行入队列 发起执行命令的时候才会执行 事务+乐观锁 原理:exec执行的版本看一下与原来获取的版本一致不一致，一样执行成功 ...
分类：
其他好文 时间：
2021-02-01 12:45:02
阅读次数：
0
TCP/IP协议栈在Linux内核中的运行时序分析 SA20225634 周广维 目录 1. 调研要求 2.概述 2.1 Linux概述 2.1.1中断处理 2.1.2 软中断 2.1.3 tasklet 2.1.4 工作队列wq 2.1.5 内核线程 2.2 TCP/IP协议栈概述 2.3 Soc ...
分类：
系统相关 时间：
2021-02-01 11:51:16
阅读次数：
0
题目链接：https://leetcode-cn.com/problems/sliding-window-maximum 题目描述： 给你一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。返回滑动 ...
分类：
其他好文 时间：
2021-02-01 11:50:28
阅读次数：
0
