通常我们部署airflow调度系统的时候，默认是直接以admin用户登录进来的，而且不需要输入账号密码 如果业务要求必须通过不同的用户登录进来，可以采用以下的方法给airflow添加用户 在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] authen ...
分类：
其他好文 时间：
2020-04-08 19:31:48
阅读次数：
402
咸阳机场是我省的重要航空交通枢纽之一，是一个现代化的大型机场。机场建设有离港系统、安防监控系统、停车场管理系统、呼叫中心系统等多个信息系统航显系统、广播系统、指挥调度系统、安检信息系统、楼宇自控系统这些系统等各大自动化系统将通过网络接口互相连接协同工作，时间的一致性就显得非常重要。通过建设卫星同步时钟，将各系统的时间进行统一校准，为各系统协同工作打下坚实基础。同步时钟在机场的重要性“校时系统”是一
分类：
其他好文 时间：
2020-03-30 11:18:31
阅读次数：
95
1. 抢占式调度： 抢占式调度指的是每条线程执行的时间、线程的切换都由系统控制，系统控制指的是在系统某种运行机制下， 可能每条线程都分同样的执行时间片，也可能是某些线程执行的时间片较长，甚至某些线程得不到执行的时间片。在这种机制下，一个线程的堵塞不会导致整个进程堵塞。 2. 协同式调度： 协同式调度 ...
分类：
编程语言 时间：
2020-03-21 18:23:33
阅读次数：
80
摘要： 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线：问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略，引出依赖的容器技术、实践方案，所有这些落实到工程实践，要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序 ...
分类：
其他好文 时间：
2020-03-14 13:01:52
阅读次数：
82
注：由于文章篇幅有限，完整文档可扫下面二维码免费获取，更有深受好评的大数据实战精英+架构师好课等着你。 DS是什么 Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即 ...
分类：
其他好文 时间：
2020-03-06 20:26:02
阅读次数：
94
DS是什么ApacheDolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。DolphinScheduler曾用名为“EasyScheduler”，由易观开发，美国时间2019年8月29日，正式通过顶级开源组织Apache基金会的投票决议，以全票通过的优秀表现正式成为Apache
分类：
其他好文 时间：
2020-03-06 11:18:32
阅读次数：
202
进程线程针对系统而言的和数据结构无关。进程是一段代码，是操作系统资源分配基本概念、是调度和运行的基本单位，进程可以有多个任务每个任务是一个线程； 堆栈针对的是数据结构。栈是右进右出函数变量、局部变量都属于栈，堆是树形结构类似于字典的目录对象数组都属于堆，线程中会用到栈和堆。 ...
分类：
编程语言 时间：
2020-02-17 20:19:23
阅读次数：
98
scheudler是kubernetes中的核心组件，负责为用户声明的pod资源选择合适的node,同时保证集群资源的最大化利用，这里先介绍下资源调度系统设计里面的一些基础概念
分类：
Web程序 时间：
2020-02-16 00:55:48
阅读次数：
90
实习生张大胖 这是个代码写得很烂的电商系统，只要运行一段时间，服务器就会出现Out Of Memory。 别人都忙得四脚朝天，于是实习生张大胖被抓了壮丁去研究为什么会出现OOM。 刚入行的张大胖技术水平一般，“装模作样”地看代码，研究日志，请教老员工，一个星期过去了，还是一无所获。 周一例行的项目会 ...
分类：
其他好文 时间：
2020-02-15 13:45:50
阅读次数：
69
一、需求目标 1.需求描述之前笔者接触过一些营销业务场景，比如说： 用户注册未登录过APP第二天早上10点发一条营销短信促活红包过期前两天短信通知，下午16:00发送等等定时任务处理业务。采用的技术方案是定时任务扫数据汇总表，分页读取一定数量然后处理然而随着业务的发展，业务多元化，遇到了以下场景： ...
分类：
其他好文 时间：
2020-02-15 12:59:45
阅读次数：
94
