一、引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心)二、调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的 ...
分类:
其他好文 时间:
2020-05-29 13:44:14
阅读次数:
83
实例:机器人运动范围 一:BFS算法 队列实现 当图或树根节点满足条件就入队,若子节点满足条件,子节点入队,根节点出队,重复操作。 在机器人运动中,计算满足条件的数量,BFS算法只需考虑向右(x+!,y)或向下(x,y+1) 1 class Solution {//广度优先遍历 2 public: ...
分类:
编程语言 时间:
2020-05-27 12:19:57
阅读次数:
71
一、什么是消息队列?1、消息就是数据。2、队列有队尾和队头,队列有入队和出队,队列先进先出。3、生产者存数据入口4、消费者取数据入口 二、推模型--发布订阅模型--阻塞 主动把消息推给订阅者。数据实时要求高,用推。 三、拉模型--生产者消费者模型--非阻塞消费者自己去拉取数据。数据实时要求不高,用拉 ...
分类:
其他好文 时间:
2020-05-25 22:13:36
阅读次数:
55
使用栈实现队列的下列操作: push(x) -- 将一个元素放入队列的尾部。pop() -- 从队列首部移除元素。peek() -- 返回队列首部的元素。empty() -- 返回队列是否为空。示例: MyQueue queue = new MyQueue(); queue.push(1);queu ...
分类:
其他好文 时间:
2020-05-24 16:51:25
阅读次数:
73
1.multiprocessing.Queue() 以Queue为例,在父进程中创建两个子进程,一个往Queue里写数据,一个从Queue里读数据: multiprcessing.Queue.put() 为 入队操作 multiprcessing.Queue.get() 为 出队操作 队列 线程 和 ...
分类:
系统相关 时间:
2020-05-19 20:28:40
阅读次数:
64
算法简述 SPFA算法其实是bellman-ford算法的队列优化形式,不再是简简单单的进行n-1次松弛,而是使用队列,能使路径变短(dist[y] > dist[x] + 1)且不在队列里的节点才入队进行松弛。 SPFA算法与Dijkstra算法的堆优化实现形式差不多,都是使用邻接表的方式。 代码 ...
分类:
编程语言 时间:
2020-05-16 21:02:59
阅读次数:
88
浏览器内部机制 渲染机制 什么是DOCTYPE及作用 DTD是一系列的语法规则,用来定义XML或HTML的文件类型。浏览器会使用它来判断文档类型,决定使用何种协议来解析,以及切换浏览器模式。 DOCTYPE是用来生命文档类型,一个主要的用途便是文件的合法性验证,。如果文件代码不合法那么浏览器解决便会 ...
分类:
其他好文 时间:
2020-05-16 14:00:14
阅读次数:
66
目录: 1.简介 MQ 全称为 Message Queue,消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接(直连)来连接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信。直接调用通常 ...
分类:
其他好文 时间:
2020-05-16 00:45:51
阅读次数:
79
数据结构 队列&栈 队列 先入先出(FIFO)的数据结构 队列是典型的 FIFO 数据结构。插入(insert)操作也称作入队( enqueue ),新元素始终被添加在 ( tail )。 删除(delete)操作也被称为出队( dequeue )。 你只能移除 ( head )。 用数组实现循环队 ...
分类:
其他好文 时间:
2020-05-13 11:53:45
阅读次数:
64
前言: 最近的PHP项目中有使用AMQP,解耦一些业务性的功能模块。因为工作使用的是线上Linux搭建,为了方便测试所以我决定本地搭建一个MQ服务。 RabbitMQ简介: MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针 ...