一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题： 如何定时调度某个任务？ 如何在某个任务执行完成后再去执行另一个任务？ 如何 ...
分类：
其他好文 时间：
2019-09-01 10:33:11
阅读次数：
86
什么是进程和线程? 一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 多线程是多任务的一种特别的形式，但多线程使用了更小的资源开销。 一个进程包括由操作系统分配的内存空间，包含一个或多个线程。一个线程不能独立的存在，它必须是进程的一部分。一个进程一直 ...
分类：
编程语言 时间：
2019-09-01 01:24:21
阅读次数：
85
最近在面试过程中，有的面试官针对我的项目问的一些问题令我对自我的项目和经历有了一些新的思考，于是决定花时间来重新整理一下我的项目。 基于美学分析下的多任务CNN显着性分布预测 Motivation: 美学+显著性强相关 多任务CNN Multitask Learning (MTL) is an in ...
分类：
其他好文 时间：
2019-08-30 19:32:47
阅读次数：
89
多用户多任务管理 1.Linux下的账户系统文件主要有： /etc/passwd #存放用户信息 /etc/shadow #存放用户密码 /etc/group #存放组信息 /etc/gshadow #存放组密码 2. /etc/passwd 文件说明 字段 说明 name 用户名 password ...
分类：
其他好文 时间：
2019-08-30 13:22:33
阅读次数：
113
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。 ...
分类：
编程语言 时间：
2019-08-29 23:58:15
阅读次数：
289
1.线程与进程区别 每个正在系统上运行的程序都是一个进程。每个进程包含一到多个线程。线程是一组指令的集合，或者是程序的特殊段，它可以在程序里独立执行。也可以把它理解为代码运行的上下文。所以线程基本上是轻量级的进程，它负责在单个程序里执行多任务。通常由操作系统负责多个线程的调度和执行。 使用线程可以把 ...
分类：
编程语言 时间：
2019-08-27 00:52:55
阅读次数：
101
所谓假死，就是能ping通，但是ssh不上去；任何其他操作也都没反应，包括上面部署的apache也打不开页面。 作为一个多任务操作系统，要把系统忙死，忙到ssh都连不上去，也不是那么容易的。尤其是现在还有fd保护、进程数保护、最大内存保护之类的机制。你可以fork很多进程，系统会变得很慢，但是ssh ...
分类：
系统相关 时间：
2019-08-26 22:47:57
阅读次数：
115
程序和进程的区别： 程序只有一份，进程可以有多个！ 进程拥有资源，进程是最小的资源分配单位！ 多任务-进程的初体验： import time import multiprocessing def test01(): while True: print("{:=^20}".format(1)) tim ...
分类：
系统相关 时间：
2019-08-26 19:21:27
阅读次数：
101
使用yield完成多任务 使用greenlet完成多任务 如果没有安装，则 pip install greenlet 使用gevent完成多任务 首先使用 pip install gevent 进行安装 gevent是对greenlet的再次封装，使用起来更加简便，当有耗时操作时会自动切换到其他协程 ...
分类：
编程语言 时间：
2019-08-26 16:49:24
阅读次数：
101
一、pom文件中导入相关依赖 二、分别编写任务代码类 三、分别编写相关的scheduler类（也可以写在一个类里） 四、启动springboot即可查看任务执行情况 具体的执行时间可以自己设置：这里分别是4秒和6秒： ...
分类：
编程语言 时间：
2019-08-23 13:24:10
阅读次数：
118
