FIFO Scheduler是最简单也是最容易理解的调度器，它缺点是不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。从执行过程图中可以看出，在FIFO 调度器中，小任务会被大任务阻塞。而对于Capacity调度器，有一个专门的队列用来运行小任务，但是为小任务专门设置一个队列会预先占用一定的集群资源，这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。在Fair调度器中，我们不需要预先占用一定的系统资源，Fair调度器会为所有运行的job动态的调整系统资源。如下图所示，当第一个大job提交时，只有这一个job在运行，此时它获得了所有集群资源；当第二个小任务提交后，Fair调度器会分配一半资源给这个小任务，让这两个任务公平的共享集群资源。
需要注意的是，在Fair调度器图中，从第二个任务提交到获得资源会有一定的延迟，因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用
分类：
其他好文 时间：
2019-06-26 12:02:44
阅读次数：
141
什么是垃圾回收 js具有垃圾回收机制，也就是说，执行环境会负责管理代码执行过程中使用的内存。而在c和c++之类的语言中，开发人员的一项基本任务就是手工跟踪内存的使用情况，这是造成许多问题的一个根源。在边写js程序时开发人员不用在关心内存的使用问题，所需内存的分配以及无用内存的回收完全实现了自动化管理 ...
分类：
编程语言 时间：
2019-06-26 00:58:52
阅读次数：
127
1、事务的概念 是数据库管理系统执行过程中的一个逻辑单元，由一个有限的数据库操作序列组成； 由事务开始(begin transaction)和事务结束(end transaction)之间执行的全体操作组成； 2、事务的特性(ACID) 原子性(Atomicity)：一个事务是一个不可分割的工作单位 ...
分类：
数据库 时间：
2019-06-24 22:35:39
阅读次数：
140
1.关键字： login 登录 log 日志 logging python日志模块 2.什么叫日志： 日志用来记录用户行为或者代码的执行过程 3.日志使用的地方： 1.排错的时候需要打印很多细节来帮助排错 2.有一些用户行为，有没有错都要记录下来（后台） 3.严重的错误记录下来 4.logging模 ...
分类：
编程语言 时间：
2019-06-24 18:20:00
阅读次数：
276
第6章 包含多个段的程序 程序取得所需空间有两种方式： 1.加载程序的时候为程序分配 2.程序在执行过程中向系统申请 6.1 在代码段中使用数据 ** "dw"--"define word"定义字型数据 当我们使用u指令查看程序时 前面一堆我们不知道的代码，这是在程序中的代码段，这个代码段在这里是由 ...
分类：
其他好文 时间：
2019-06-23 01:25:36
阅读次数：
135
一 死锁现象 所谓死锁： 是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程，如下就是死锁 执行结果 解决方法： 二 递归锁 递归锁，在Python中为了支 ...
分类：
编程语言 时间：
2019-06-22 01:13:02
阅读次数：
149
? 前面我们系统了解了一个查询语句的执行流程，并介绍了执行过程中涉及的处理模块。相信你还记得，一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后到达存储引擎。 那么，一条更新语句的执行流程又是怎样的呢？之前你可能经常听 DBA 同事说，MySQL 可以恢复到半个月内任意一 ...
分类：
数据库 时间：
2019-06-21 21:08:07
阅读次数：
179
如果一个线程从头到尾执行完也不和别的线程打交道的话，那就不会有各种安全性问题了。但是协作越来越成为社会发展的大势，一个大任务拆成若干个小任务之后，各个小任务之间可能也需要相互协作最终才能执行完整个大任务。所以各个线程在执行过程中可以相互 ，所谓 就是指相互交换一些数据或者发送一些控制指令，比如一个线 ...
分类：
其他好文 时间：
2019-06-19 18:29:40
阅读次数：
78
1、执行过程失败，报 Container killed on request. Exit code is 143 如下图： 分析：造成这种原因是由于总内存不多，而容器在jvm中占比过高，修改tez-site.xml文件，添加如下配置： 2、ERROR [main] exec.TaskRunner: ...
分类：
其他好文 时间：
2019-06-19 10:50:13
阅读次数：
249
1.MasterKubernetes里的Master指的是集群控制节点，每个k8s集群需要一个master来负责整个集群的管理和控制，基本上k8s所有控制命令都发给它，它来负责具体的执行过程（高可用建议部署3台服务器）Master节点运行的组件：Kube-apiserver:提供httpRest接口的关键服务进程，是k8s里所有资源增删改查等操作的唯一入口，也是集群控制的入口进程。Kube-con
分类：
Web程序 时间：
2019-06-17 12:27:20
阅读次数：
125
