yarn 一共有3个类型的调度器：FIFO调度器、容量调度器、公平调度器。 1，FIFO调度器。先进先出，队列中同一时间只有一个任务在运行。该任务独占整个集群的资源。 2，容量调度器。多队列，每个队列内部先进先出，同一个队列同时间只有一个任务在运行，任务的并行度为队列的个数。 3，公平调度器。同个队 ...
分类：
其他好文 时间：
2020-06-16 11:35:39
阅读次数：
107
YARN 调度器 1、FIFO（先进先出调度器） 单队列，任务独占所有资源，先进先出； 优点：简单不需配置； 缺点：大集群中大小任务都会阻塞； 2、Capacity（容量调度器） 多队列（单队列FIFO），支持配额，弹性队列，延迟调度（等待别的队列容器释放而非抢占） 优点：相比FIFO更适用于集群 ...
分类：
其他好文 时间：
2020-04-16 13:05:12
阅读次数：
74
Celery的基本使用 多队列任务 celery可用于处理分布式任务。对于开销不同的任务可以放到性能不同的机器上去执行。基本原理就是在celery中配置多个队列，每个队列用来用来存储不同的任务。在多台机器上分别指定队列来启动worker,该worker只会去消费指定队列中的任务。 主要配置信息如下： ...
分类：
其他好文 时间：
2019-12-03 19:37:37
阅读次数：
139
[toc] GIL全局解释器锁 基本概念 global interpreter lock 全局解释器锁 GIL不是Python的特性, 是Cpython解释器的特性 GIL本质是一个互斥锁 原因 : Cpython解释器的内存管理不是线程安全的 作用 : 保证同一时间一个线程内只有一个线程在执行 多 ...
分类：
编程语言 时间：
2019-10-23 21:51:33
阅读次数：
103
深度: NVMe SSD存储性能有哪些影响因素？ http://www.itpub.net/2019/07/17/2434/ 之前有一个误解 不明白NVME 到底如何在队列深度大的情况下来提高性能, 现在看来是因为 比AHCI多了 多队列的控制来提高性能. 导读： NVMe SSD的性能时常捉摸不定 ...
分类：
其他好文 时间：
2019-07-20 09:38:09
阅读次数：
142
"题目" 题目大意 有一个$01$序列。给你一堆区间，每个区间中有且仅有一个$1$点。 问最多的$1$点个数。 思考历程 感觉这题特别经典，似乎在哪里见过，又好像没有见过。 一开始朝贪心方面想……想不出来…… 后来想DP，还是想不出来…… 直到WHH大爷跑过来兴奋地说：不就是个差分约束吗！ 于是我心 ...
分类：
其他好文 时间：
2019-07-13 09:14:55
阅读次数：
101
[TOC]LinkedTransferQueue1.8源码解析一，简介LinkedTransferQueue是一个由链表结构组成的×××阻塞传输队列，它是一个很多队列的结合体（ConcurrentLinkedQueue，LinkedBlockingQueue，SynchronousQueue），在除了有基本阻塞队列的功能（但是这个阻塞队列没有使用锁）之外；队列实现了TransferQueue接口重写
分类：
其他好文 时间：
2019-07-04 18:55:19
阅读次数：
110
网卡中断及多队列 作者：cb9e58ff5a37链接：https://www.jianshu.com/p/e64d8750ab1c 1、判断当前系统环境是否支持多队列网卡，执行命令: lspci -vvv 如果在Ethernet项中。含有MSI-X: Enable+ Count=9 Masked-语 ...
分类：
其他好文 时间：
2019-07-03 10:46:15
阅读次数：
132
linux的招牌就是它强大的网络功能，稳定，高效，能随着现实的日新月异而日趋完善。众所周知，linux的网卡由结构体net_device表示，一 个该结构体对应一个可以调度的数据包发送队列，注意，这里不谈数据包接收，数据包的实体在内核中以结构体sk_buff表示，这样的话，上述文字就可以用 以下图示 ...
分类：
系统相关 时间：
2019-02-16 20:43:08
阅读次数：
244
生产者: 文件1: 定义任务 文件2: 产生任务并放到队列 注: 该文件中使用了 而非 ：后者是前者的包装(使用更方便)，而直接使用前者则可使用更多参数，比如queue。 这里的queue正是要在消费者中配置使用的queue，注意名字要对应，不要写错。 消费者(worker) 文件1：定义任务函数 ...
分类：
其他好文 时间：
2019-02-02 19:27:38
阅读次数：
183
