Kubernetes Kubernetes（简称K8s，用8代替8个字符“ubernete”）是Google开源的一个容器编排引擎，支持自动化部署、大规模可伸缩、应用容器化管理。 Kubernetes 是目前最为广泛且流行的容器编排调度系统，也是现在用来构建云原生应用编排的最佳平台。 目前所有云原生 ...
分类：
Web程序 时间：
2019-08-22 01:22:51
阅读次数：
161
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
scheduler定时调度系统是大多行业项目都需要的，传统的spring-job模式，个人感觉已经out了，因为存在很多的问题，特别是定时调度的追加、修改、删除等，需要修改xml，xml的配置生效无非是热部署灰度发布方案或者直接停止、重启服务器，完全不能做到自动启动、修复方式。 ...
分类：
编程语言 时间：
2019-08-05 09:54:57
阅读次数：
152
大数据技术之Azkaban 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作 ...
分类：
其他好文 时间：
2019-07-26 09:15:11
阅读次数：
265
XXL-JOB分布式任务调度系统的任务执行过程分析~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
分类：
其他好文 时间：
2019-06-29 11:04:14
阅读次数：
127
开源分布式Job系统,调度与业务分离-如何创建一个计划HttpJob任务 项目介绍： Hangfire：是一个开源的job调度系统,支持分布式JOB！！ Hangfire.HttpJob 是我针对Hangfire开发的一个组件,该组件和Hangfire本身是独立的。可以独立更新Hangfire版本不 ...
分类：
其他好文 时间：
2019-06-09 23:45:31
阅读次数：
391
项目介绍： Hangfire：是一个开源的job调度系统,支持分布式JOB！！ Hangfire.HttpJob 是我针对Hangfire开发的一个组件,该组件和Hangfire本身是独立的。可以独立更新Hangfire版本不影响！ 该组件已被Hangfire官方采纳，在Hangfire官网可以查到 ...
分类：
Web程序 时间：
2019-05-29 10:39:23
阅读次数：
416
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。 饿了么大数据平台现状：每天完成大数据任务计算 54000+;节点集群 85 台。 开源解决方案 Ooize Ooize 基于工作流调度引擎，是雅虎的开源项目，属于 Java W ...
分类：
其他好文 时间：
2019-05-20 17:16:43
阅读次数：
109
本文是《Go语言调度器源代码情景分析》系列的第16篇，也是第三章《Goroutine调度策略》的第1小节。 在调度器概述一节我们提到过，所谓的goroutine调度，是指程序代码按照一定的算法在适当的时候挑选出合适的goroutine并放到CPU上去运行的过程。这句话揭示了调度系统需要解决的三大核心 ...
分类：
其他好文 时间：
2019-05-15 09:34:17
阅读次数：
121
首先介绍一下方舟弹性调度的三层决策： 1.第一层是策略决策，策略决策层由多个不同的策略组成，并且支持快速扩展。策略之间逻辑完全隔离，每个策略计算完成后都会独立输出动作（扩容、缩容、不变）和数量。为了能够适应不同应用之间的异构，每个应用分组也可以根据实际情况启动或关闭不同的策略。 2.第二层是聚合决策 ...
分类：
其他好文 时间：
2019-05-05 11:55:53
阅读次数：
260
