在谈到如何实现 DevOps 时,往往面临两大方面的问题 :开发测试管理问题和运行管理问题。开发测试管理问题一般表现在开发效率低、版本质量差、环境交付慢,无统一工具设置,整体的研发运维过程管控不足。因此,通过 DevOps 平台进行流程化管理变得尤为重要。 另一方面,随着云计算的发展,企业机器数量逐 ...
分类:
其他好文 时间:
2020-06-29 00:22:39
阅读次数:
69
Yarn资源调度系统 一、课前准备 1. 三个节点的hadoop集群 二、课堂主题 1. yarn架构、核心组件 2. yarn应用提交过程 3. yarn的调度策略 4. yarn的优化 三、课堂目标 1. 数据yarn资源的任务调度原理 2. 熟练对yarn集群进行维护 3. 了解如何使用YAR ...
分类:
其他好文 时间:
2020-06-25 23:50:34
阅读次数:
115
CDN是内容分发网络,它可以将本来位于源站的内容分发到全国各地的节点,方便用户去就近访问所需的内容,以此达到缓解互联网网络拥塞、提升应用响应速率、改善用户体验的作用。随着互联网行业的变迁,CDN经历了几个关键的技术发展阶段。紧随互联网浪潮,CDN走上历史舞台谈到CDN诞生,不得不得到万维网之父TimBerners-Lee。麻省理工学院教授TimBerners-Lee作为互联网发明者之一,在制订了3
分类:
其他好文 时间:
2020-06-18 12:29:37
阅读次数:
63
一 概述 1.1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等。2)各任务单元之间存在时间先后及前后依赖关系。3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行 ...
分类:
其他好文 时间:
2020-05-30 20:00:49
阅读次数:
59
有看到一句话,我深以为然:“所有算法的终极数据结构只有两种:数组和链表!”其他所有数据结构都是数组或链表的衍生品, 不管是树还是图或者栈,至于算法就最终都落到了这两种结构的操作上,滑动窗口也不例外!滑动窗口的应用场景还是很多的: HTTP的帧传输,滑动窗口限流算法、Flink中的滑动窗口等,今天,我 ...
分类:
编程语言 时间:
2020-05-26 22:16:55
阅读次数:
103
文章目录第1部分1、什么是Linux内核,有什么作用?2、什么是shell,有什么作用?3、安装Linux至少需要几个分区?4、Swap分区的作用是什么?5、什么是运行级别?Linux有几个运行级别?6、如何更改默认启动级别?第2部分1、什么是Linux终端?Linux终端又称为什么?2、默认情况下 ...
分类:
系统相关 时间:
2020-05-26 21:59:30
阅读次数:
167
进程是操作系统分配资源的最小单元,线程是操作系统调度的最小单元。 一个程序至少有一个进程,一个进程至少有一个线程。 ...
分类:
编程语言 时间:
2020-04-25 01:23:21
阅读次数:
77
概述 ScheduleMaster是一个开源的分布式任务调度系统,它基于Asp.Net Core平台构建,支持跨平台多节点部署运行。 它的项目主页在这里: https://github.com/hey-hoho/ScheduleMasterCore 关于它的简单介绍可以看这里: https://ww ...
分类:
Web程序 时间:
2020-04-22 10:06:23
阅读次数:
92
YiShaAdmin基于.NETCoreWeb开发,借鉴了很多开源项目的优点,让你开发Web管理系统和移动端Api更简单,所以我也把她开源了。她可以用于所有的Web应用程序,例如网站管理后台、CMS、CRM、ERP、OA这类的系统和移动端Api。代码地址:https://github.com/liu ...
分类:
Web程序 时间:
2020-04-18 09:26:48
阅读次数:
451
[TOC] 一、APScheduler简介 "APScheduler" (Advanced Python Scheduler)是一个轻量级的Python定时任务调度框架(Python库)。 APScheduler有三个内置的调度系统,其中包括: cron式调度(可选开始/结束时间) 基于间隔的执行( ...
分类:
其他好文 时间:
2020-04-12 22:43:09
阅读次数:
84