Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯，整体架构大致如下（绿线是数据流向）： Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请 ...
分类：
其他好文 时间：
2020-04-05 18:28:55
阅读次数：
140
scrapy 1 一、简介 1.1、安装 1.2、爬虫流程 1.3、scrapy流程，文字解释 首先通过spider(爬虫)组件构建request对象，并将request对象经由scrapy Engine(scrapy 引擎) 发送给Scheduler(调度器),调度器对request对象进行整理， ...
分类：
其他好文 时间：
2020-04-03 23:50:43
阅读次数：
115
在aelf的共识合约标准中，其五个接口可以分为三组：对于任何一个节点，可在任意时刻，从合约中请求共识命令；得到有效出块时间的节点在调度器倒计时终结之后，从合约中获得共识数据，并基于此数据生产区块。节点在将某个区块添加至本地区块链时，将区块信息提交给共识合约，以进行一系列针对共识数据的验证。请求共识命令-GetConsensusCommand这个方法的大致逻辑如下：publicoverrideCon
分类：
其他好文 时间：
2020-04-02 10:30:32
阅读次数：
97
Ingress Controller是一个七层负载均衡调度器，客户端的请求先到达这个七层负载均衡调度器，由七层负载均衡器在反向代理到后端pod，常见的七层负载均衡器有nginx，traefik等，以我们熟悉的nginx为例，假如请求到达nginx，会通过upstream反向代理到后端pod
分类：
Web程序 时间：
2020-04-01 15:10:26
阅读次数：
120
多线程 线程就是独立的执行路径; 在程序运行时，即使没有自己创建线程,后台也会有多个线程，如主线程，gc线程; . main()称之为主线程，为系统的入口，用于执行整个程序; 在一个进程中，如果开辟了多个线程，线程的运行由调度器安排调度,调度器是与操作系统紧密相关的，先后顺序是不能认为的干预的。 对 ...
分类：
编程语言 时间：
2020-03-31 23:00:49
阅读次数：
84
kubernetes的调度标签（空格分隔）：kubernetes系列一：kubernetes的调度二：kubernetes的节点的亲和性三：kubernetes的污点与容忍四：kubernetes的固定节点一：kubernetes的调度1.1scheduler的介绍Scheduler是kubernetes的调度器，主要的任务是把定义的pod分配到集群的节点上。听起来非常简单，但有很多要考虑的问题：
分类：
Web程序 时间：
2020-03-30 18:03:15
阅读次数：
110
1,导入Quartz的依赖包 2，任务调度主要是三个关键点：调度器 任务 触发器 Schedule Job Strigger //创建任务类 1，实现Job接口 2，任务的自定义执行方法（重写） //创建调度器 ScheduleFactory scheduleFactory =new StdSche ...
分类：
其他好文 时间：
2020-03-30 16:21:53
阅读次数：
82
背景 By 鲁迅 By 高尔基 说明： 1. Kernel版本：4.14 2. ARM64处理器，Contex A53，双核 3. 使用工具：Source Insight 3.5， Visio 1. 概述 在Linux内核中，实时进程总是比普通进程的优先级要高，实时进程的调度是由 来管理，而普通进程 ...
分类：
系统相关 时间：
2020-03-27 21:23:09
阅读次数：
121
kubernetes调度器在kubernetes中，调度指的是将新生成的pod调度到合适的Node节点上，然后Node上对应的kubelet才能运行pod。 1.调度概述调度器通过kubernetes的watch机制来发现新生成的且未调度到Node上的pod。调度器会将发现的每一个未调度的pod调度 ...
分类：
Web程序 时间：
2020-03-25 18:52:48
阅读次数：
120
1.cron表达式格式：{秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)} 2.cron表达式各占位符解释：{秒数}{分钟} ==> 允许值范围: 0~59 ,不允许为空值，若值不合法，调度器将抛出SchedulerException异常“*” 代表每隔1秒钟触发；“,” ...
分类：
编程语言 时间：
2020-03-24 14:33:41
阅读次数：
60
