Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于分布式的操作系统平台。 Yarn基本架构 Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 ResourceManager的作用： 处理客户端请 ...
分类：
其他好文 时间：
2020-03-13 20:25:14
阅读次数：
53
整理出来的大规模集群优化点 调度器相关： 1. 在预选和优选时，多个节点之间并发的执行预选策略和优选策略（单个节点还是按顺序执行预选和优选策略的） 2. 算法执行过程中需要用到的如node、pod等信息使用Informer缓存起来 3. 当通过预选和优选得到最优的节点时，不在调度路径中请求api-s ...
分类：
其他好文 时间：
2020-03-11 23:27:50
阅读次数：
139
Azkaban简单定时任务-使用教程 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 1.登录Azkaban ...
分类：
其他好文 时间：
2020-03-10 12:18:41
阅读次数：
88
[toc] lvs高可用集群 技术简介： 集群采用三层结构： 一般来说，LVS集群采用三层结构，其主要组成部分为： 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的 服务器池 ...
分类：
其他好文 时间：
2020-03-08 19:18:39
阅读次数：
62
进程，线程，协程 TODO 虚拟内存 局部性原理 计算机组成原理，CPU缓存和局部性原理 老调度器(Go 1.0)有4个缺点 https://golang.org/s/go11sched http://lessisbetter.site/2019/03/10/golang scheduler 1 h ...
分类：
其他好文 时间：
2020-03-08 15:44:43
阅读次数：
81
ARM-CM3创建任务、开启调度器、任务调度的整个流程： 【创建任务】 创建任务控制块。为任务申请空间并创建一个任务控制块NewTCB； 申请任务栈空间。为任务申请一块栈空间，并将起始地址存储到NewTCB.pxStack中； 初始化任务相关参数。将任务名、优先级和相关列表项等存放到任务控制块； 初 ...
分类：
其他好文 时间：
2020-03-04 21:15:31
阅读次数：
99
由于scrapy框架需要更多的学习成本，还有分布式爬虫也需要redis来实现，调度方式也不是很符合业务要求，于是就自己设计了个分布式爬虫架构。架构图如下：爬虫的客户端为tornado编写的服务，爬虫管理器也是tornado编写的后台管理服务，主要功能：获取客户端的状态信息，爬虫进程数量，启动指定数量的爬虫进程，中断、重启爬虫，爬虫异常通知等。爬虫进程与调度器间的请求非常频繁，所以使用socket长
分类：
其他好文 时间：
2020-02-22 23:55:28
阅读次数：
128
schedulingQueue是kubernetes scheduler中负责进行等待调度pod存储的对，Scheduler通过SchedulingQueue来获取当前系统中等待调度的Pod，本文主要讨论SchedulingQueue的设计与实现的各种实现, 了解探究其内部实现与底层源码,本系列代码基于kubernets1.1.6分析而来
分类：
Web程序 时间：
2020-02-19 00:40:08
阅读次数：
94
背景 By 鲁迅 By 高尔基 说明： 1. Kernel版本：4.14 2. ARM64处理器，Contex A53，双核 3. 使用工具：Source Insight 3.5， Visio 1. 概述 CPU负载（ ）指的是某个时间点进程对系统产生的压力。 来张图来类比下（参考 "Underst ...
分类：
系统相关 时间：
2020-02-16 14:39:37
阅读次数：
87
scheudler是kubernetes中的核心组件，负责为用户声明的pod资源选择合适的node,同时保证集群资源的最大化利用，这里先介绍下资源调度系统设计里面的一些基础概念
分类：
Web程序 时间：
2020-02-16 00:55:48
阅读次数：
90
