在kubernetes的scheduler调度器的设计中为用户预留了两种扩展机制SchdulerExtender与Framework，本文主要浅谈一下SchdulerExtender的实现， 因为还有一篇Framework, 所以本文的k8s代码切到1.18版本 1. 设计思路 1.1 实现机制 S ...
分类：
Web程序 时间：
2020-02-01 22:54:49
阅读次数：
169
根据 "DockerHub" 上的数据，整个 Kolla 项目管理的 镜像有 2000 多个，这么多的镜像，是怎么定义，又是如何构建的呢？ 简介 我们一直在说的 Kolla，通常情况下泛指，包括了 和 两个项目。 实际上，根据 "OpenStack Wiki" ，还有个 项目也是相关的。但是这个用的 ...
分类：
其他好文 时间：
2020-01-30 11:14:37
阅读次数：
83
一、在master节点下载二进制包 https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.16.md#v1161 二、选择kubernetes-server-linux-amd64.tar.gz下载 wget https:/ ...
1）资源相关参数 （1）以下参数是在用户自己的mr应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则 ...
分类：
其他好文 时间：
2020-01-28 12:23:08
阅读次数：
98
今天想记录下如何在windows环境下远程提交代码到spark集群上面运行。 spark集群搭建环境使Linux系统，但说实在，Linux系统因为是虚拟机的缘故运行IDE并不是很舒服，想要对python进行舒适的编程操作还不是一件容易事，所以今天记录下如何在Windows下进行spark编程。 首先 ...
分类：
其他好文 时间：
2020-01-27 23:46:50
阅读次数：
81
Quartz基本介绍 简介 Quartz是一个功能强大的开源任务调度框架,几乎可以继承到任何java应用程序。Quartz可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs这样复杂的程序。同时Quartz Scheduler包含许多企业级功能，例如对JTA事务和集群的支持 简单实例 该实例用 ...
分类：
其他好文 时间：
2020-01-20 11:18:26
阅读次数：
78
1.发现计算节点主机 su -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" nova 2.设置发现时间间隔 openstack-config --set /etc/nova/nova.conf scheduler discov ...
分类：
其他好文 时间：
2020-01-17 13:08:12
阅读次数：
289
一、linux cpu、内存、IO、网络的测试工具cpu测试工具1、Super Pi for linuxSuper PI是利用CPU的浮点运算能力来计算出π（圆周率），所以目前普遍被用户用做测试系统稳定性和测试CPU计算完后特定位数圆周率所需的时间。 ./super_pi 2020为位数。表示要算2 ...
分类：
系统相关 时间：
2020-01-17 12:00:12
阅读次数：
108
Scheduler中在进行node选举的时候会首先进行一轮预选流程，即从当前集群中选择一批node节点，本文主要分析k8s在预选流程上一些优秀的筛选设计思想，欢迎大佬们指正 1. 基础设计 1.1 预选场景 预选顾名思义就是从当前集群中的所有的node中，选择出满足当前pod资源和亲和性等需求的no ...
分类：
Web程序 时间：
2020-01-16 18:37:38
阅读次数：
75
一 Kuberbetes的架构简单介绍 1.1 云计算的传统分类 1.2 kubernetes基础架构 工作机制 用户通过kubectl向api-server提交需要运行的pod描述 api-server接收请求并将相关描述存储到etcd scheduler 监控api-server拿到相关描述信息 ...
分类：
Web程序 时间：
2020-01-12 15:16:29
阅读次数：
261
