1. Scrapy使用了Twisted异步网络库来处理网络通讯，整体架构： Scrapy爬虫框架主要由5个部分组成，分别是：Scrapy Engine（Scrapy引擎），Scheduler（调度器），Downloader（下载器），Spiders（蜘蛛），Item Pipeline（项目管道）。爬 ...
分类：
其他好文 时间：
2020-06-26 10:21:18
阅读次数：
58
图中绿色的是数据的流向 我们看到图里有这么几个东西，分别是 Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求 Engine：引擎，处理整个系统的数据流处理，出发事物，框架的核心。 Scheduler：调度器，接受引擎发过来的请求，并将其加入队列中，在引 ...
分类：
其他好文 时间：
2020-06-25 11:58:04
阅读次数：
46
Java 多线程基础（十一）线程优先级和守护线程 一、线程优先级 Java 提供了一个线程调度器来监控程序启动后进去就绪状态的所有线程。线程调度器通过线程的优先级来决定调度哪些线程执行。一般来说，Java的线程调度器采用时间片轮转算法使多个线程轮转获得CPU的时间片。然而根据实际情况，每个线程的重要 ...
分类：
编程语言 时间：
2020-06-24 21:46:00
阅读次数：
65
1、LVS（Linux Virtual Server） 负载均衡客户端，LVS(ipvs) 已经被集成到Linux内核中，是一个负载均衡调度器。基于四层的负载均衡。 2、LVS的网络拓扑图 3、为什么要使用LVS +Nginx LVS基于四层，工作效率高。（LVS不会处理请求的报文，直接转发。Ngi ...
分类：
其他好文 时间：
2020-06-22 01:47:18
阅读次数：
71
去重的配置： DUPEFILTER_KEY = 'dupefilter:%(timestamp)s' DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 调度器配置： SCHEDULER = "scrapy_redis.schedul ...
分类：
其他好文 时间：
2020-06-21 19:57:44
阅读次数：
53
首先需要思考的问题是：什么是调度器（scheduler）？调度器的作用是什么？调度器是一个操作系统的核心部分。可以比作是CPU时间的管理员。调度器主要负责选择某些就绪的进程来执行。不同的调度器根据不同的方法挑选出最适合运行的进程。目前Linux支持的调度器就有RT scheduler、Deadlin ...
分类：
其他好文 时间：
2020-06-21 11:39:52
阅读次数：
82
一. 配置调度器 APScheduler 有多种不同的配置方法，你可以选择直接传字典或传参的方式创建调度器； 也可以先实例一个调度器对象，再添加配置信息。灵活的配置方式可以满足各种应用场景的需要。 整套的配置选项可以参考API文档BaseScheduler类。 一些调度器子类可能有它们自己特有的配置 ...
分类：
其他好文 时间：
2020-06-18 19:45:46
阅读次数：
50
yarn 一共有3个类型的调度器：FIFO调度器、容量调度器、公平调度器。 1，FIFO调度器。先进先出，队列中同一时间只有一个任务在运行。该任务独占整个集群的资源。 2，容量调度器。多队列，每个队列内部先进先出，同一个队列同时间只有一个任务在运行，任务的并行度为队列的个数。 3，公平调度器。同个队 ...
分类：
其他好文 时间：
2020-06-16 11:35:39
阅读次数：
107
分布式深度学习DDL解析 一．概述 给一个庞大的GPU集群，在实际的应用中，现有的大数据调度器会导致长队列延迟和低的性能，该文章提出了Tiresias，即一个GPU集群的调度器，专门适应分布式深度学习任务，该调度器能够有效率的调度并且合适地放置深度学习任务以减少他们的任务完成时间（JCT(Job C ...
分类：
其他好文 时间：
2020-06-09 09:53:10
阅读次数：
76
Go语言高阶：调度器系列（1）起源 如果把语言比喻为武侠小说中的武功，如果只是会用，也就是达到四五层，如果用的熟练也就六七层，如果能见招拆招也得八九层，如果你出神入化，立于不败之地十层。 如果你想真正掌握一门语言的，怎么也得八层以上，需要你深入了解这门语言方方面面的细节。 希望以后对Go语言的掌握能 ...
分类：
编程语言 时间：
2020-06-08 14:46:01
阅读次数：
72
