开心一刻 旁边的女乘客太吵，我实在忍无可忍，便对她说：“你能不能让我睡会儿？” 她挥手就给了我一个耳光：“你个臭流氓！” 我顿时就清醒了，理论到：“你让我睡一会怎么了吗” 她害羞的低下了头，说道：“人家不是随便的人” 我：“我也不是随便的人，下一站我们下车把话说清楚” 任务调度 相信大家对任务调度都 ...
分类：
其他好文 时间：
2020-07-13 09:18:15
阅读次数：
57
XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。它的有两个核心模块，一个模块叫做调度中心，另外一个模块叫做执行器，它把任务调度和任务执行分成两个部分。本文从准备工作、搭建“调度中心”、搭建“执行器”三个步骤进行快速搭建。 ...
分类：
其他好文 时间：
2020-07-12 22:30:33
阅读次数：
61
上一篇文章，介绍了要怎么理解平均负载（ Load Average），并用三个案例展示了不同场景下平均负载升高的分析方法。这其中，多个进程竞争 CPU 就是一个经常被我们忽视的问题。 我想你一定很好奇，进程在竞争 CPU 的时候并没有真正运行，为什么还会导致系统的负载升高呢？看到今天的主题，你应该已经 ...
分类：
系统相关 时间：
2020-07-11 22:50:01
阅读次数：
82
1、集群是什么？ 1 集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。 2 集群组成后，可以利用多个计算机和组合进行海量请求处理（负载均衡），从而获得很高的处理效率，也可以用多个计 ...
分类：
其他好文 时间：
2020-07-10 13:20:06
阅读次数：
120
1. 什么是 Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job ...
分类：
其他好文 时间：
2020-07-10 09:54:12
阅读次数：
54
Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
一、什么是Celery 1.1、celery是什么 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task ...
分类：
Web程序 时间：
2020-07-02 22:01:32
阅读次数：
78
XXL-JOB(任务调度中心)-反弹getshell XXL-JOB漏洞原理: XXL-JOB是一个轻量级分布式任务调度平台，支持通过web页面对任务进行操作，基于Java-spring boot框架开发，利用Maven依赖编译好，开箱即用。 如果XXL-JOB任务调度中心后台使用了弱密码，则可以在 ...
分类：
系统相关 时间：
2020-06-29 21:26:15
阅读次数：
258
在谈到如何实现 DevOps 时，往往面临两大方面的问题 ：开发测试管理问题和运行管理问题。开发测试管理问题一般表现在开发效率低、版本质量差、环境交付慢，无统一工具设置，整体的研发运维过程管控不足。因此，通过 DevOps 平台进行流程化管理变得尤为重要。 另一方面，随着云计算的发展，企业机器数量逐 ...
分类：
其他好文 时间：
2020-06-29 00:22:39
阅读次数：
69
Yarn资源调度系统 一、课前准备 1. 三个节点的hadoop集群 二、课堂主题 1. yarn架构、核心组件 2. yarn应用提交过程 3. yarn的调度策略 4. yarn的优化 三、课堂目标 1. 数据yarn资源的任务调度原理 2. 熟练对yarn集群进行维护 3. 了解如何使用YAR ...
分类：
其他好文 时间：
2020-06-25 23:50:34
阅读次数：
115
