Linux top命令的用法详细详解 （转自https://www.cnblogs.com/zhoug2020/p/6336453.html） 首先介绍top中一些字段的含义： VIRT：virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 ...
分类：
系统相关 时间：
2018-12-27 13:23:30
阅读次数：
153
1 概述 1.1 为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如 ...
分类：
其他好文 时间：
2018-12-19 15:40:42
阅读次数：
170
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azkaban 单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python 自己封装 基于quartz单机 使用zk来做分布式控制 常用quartz+zk做调度系统 使用db心跳 ...
分类：
其他好文 时间：
2018-12-12 19:04:14
阅读次数：
237
摘要：2018 年“双 11”的交易额又达到了一个历史新高度 2135 亿。相比十年前，我们的交易额增长了 360 多倍，而交易峰值增长了 1200 多倍。相对应的，系统数呈现爆发式增长。系统在支撑“双 11”过程中的复杂度和难度呈现指数级形式上升趋势。 作为阿里巴巴全集团范围的容器调度系统，Sig ...
分类：
其他好文 时间：
2018-12-11 17:20:56
阅读次数：
230
安装部署ESXI一、虚拟化的知识点1、打破了物理硬件与操作系统及在其上运行的应用程序之间的硬性连接虚拟化：一台物理机上可以运行多个操作系统。硬性连接：一台物理机上只能运行一个操作系统虚拟化技术将物理资源虚拟化在物理机没有虚拟化之前硬件只能被本机使用在虚拟化之后硬件被虚拟机使用（运行多个操作系统），并且每台虚拟机之间都是独立，所有虚拟机可在多种环境下共享该物理计算机的资源。2、虚拟化基础结构Vmwa
分类：
其他好文 时间：
2018-12-01 16:02:01
阅读次数：
180
不修内功，难成大器。为了将Apache Flink在阿里巴巴真正运行起来，阿里巴巴实时计算团队做了大量的优化，在阿里云上的产品正式命名为实时计算，以Flink SQL为主要API，致力于打造一款全球领先的实时计算引擎。
分类：
其他好文 时间：
2018-11-27 17:55:57
阅读次数：
198
设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource ...
分类：
其他好文 时间：
2018-11-15 00:17:21
阅读次数：
193
+ 鉴于对Spring实现的@Scheduled的调度和SchedulerFactoryBean的研究发现，基于Spring的调度封装虽满足了大多需求，但其为了简化使用方式，过度封装使得Job并不容易控制和运维，导致开发对Job的控制和运维成本上升；下面是本人基于Quartz和Spring及Anno ...
分类：
其他好文 时间：
2018-11-09 00:45:48
阅读次数：
199
gitlab 备份 执行之后，就会生成一个备份文件 可以写一个脚本 进入文件夹，进行备份。查找五天前的备份数据，进行删除。 备份可以安排在每天的3点30左右。这个时候大家都睡觉。 重启定时服务。 Linux下的任务调度分为两类，系统任务调度和用户任务调度 系统任务调度：系统需要定期执行的任务，比如重 ...
分类：
其他好文 时间：
2018-11-06 18:15:05
阅读次数：
201
1、什么是Hadoop 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3). HADOOP的核心组件有 A). HDFS（分布式文件系统） B). YARN（运算资源调度系统） C). M ...
分类：
其他好文 时间：
2018-11-04 19:42:26
阅读次数：
145
