一、未来的网络战 未来的网络战会同时表现出两种趋势：更广泛的打击和更精确的打击。更广泛的打击是指将敌对国家整体作为打击目标，通过制造社会混乱来降低对手的抵抗。战争爆发的同时，金融系统数据会突然出现混乱，各种交易无法进行；智能电网瘫痪，电力供应中断导致生产停滞；交通调度系统也陷入失控状态，城里的人无法 ...
分类：
其他好文 时间：
2018-09-12 14:04:52
阅读次数：
229
一、Azkaban简介 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。简而言之就是一个工作流调度系统。 为什 ...
分类：
其他好文 时间：
2018-08-21 19:39:59
阅读次数：
175
使用netty实现客户端服务端心跳重连 前言： 公司的加密机调度系统一直使用的是http请求调度的方式去调度，但是会出现网络故障导致某个客户端或者服务端断线的情况，导致很多请求信息以及回执信息丢失的情况，接着我们抛弃了http的方式，改为Tcp的方式去建立客户端和服务器之间的连接，并且要去实现断线重 ...
分类：
Web程序 时间：
2018-08-15 18:33:52
阅读次数：
282
1.在开发过程中，经常会涉及到的一个词，多进程。 2.首先，什么叫做进程？ 假设，现在有一个名为a.py的程序，a.py中还有相对应的静态文件，那么，当启动时，这个程序以及静态文件就称为一个进程。进程是一个操作系统分配资源的基本单位。 3.进程是一个什么样的流程呢？ 首先，进程是操作系统在人为条件下 ...
分类：
系统相关 时间：
2018-07-16 21:10:25
阅读次数：
135
Hulu是美国领先的互联网专业视频服务平台，目前在美国拥有超过2000万付费用户。Hulu总部位于美国洛杉矶，北京办公室是仅次于总部的第二大研发中心，也是从Hulu成立伊始就具有重要战略地位的分支办公室，独立负责播放器开发，搜索和推荐，广告精准投放，大规模用户数据处理，视频内容基因分析，人脸识别，视 ...
分类：
其他好文 时间：
2018-07-13 13:23:26
阅读次数：
186
Linux进程调度的目标 1.高效性：高效意味着在相同的时间下要完成更多的任务。调度程序会被频繁的执行，所以调度程序要尽可能的高效； 2.加强交互性能:在系统相当的负载下，也要保证系统的响应时间； 3.保证公平和避免饥渴； 4.SMP调度：调度程序必须支持多处理系统； 5.软实时调度：系统必须有效的 ...
分类：
系统相关 时间：
2018-06-30 23:40:42
阅读次数：
228
2.14.4.1、什么是模块化设计 (1)因为linux内核很庞大，代码量很大、东西很多，如果设计时完全设计成一体（各个文件、各个函数之间紧耦合），复杂度超出了人所能理解的范围。所以模块化设计也是一种必要。 (2)模块化设计就是内核中各个功能模块在代码上是彼此独立的，譬如说调度系统和内存管理系统之间 ...
分类：
系统相关 时间：
2018-06-26 16:06:04
阅读次数：
190
1. 概述1.1 节点信息2. 节点准备3. 部署NTP服务器4. 部署LDAP服务器5. 部署Munge认证服务6. 部署Mysql数据库服务6. 部署slurm6.1 slurm下载6.2 解压编译安装 1. 概述 slurm任务调度系统，主要应用在HPC集群资源管理和任务调度。具体信息参见sl... ...
分类：
其他好文 时间：
2018-06-18 10:33:16
阅读次数：
525
随着平台上的任务越来越多,且部分任务相互依赖,目前使用的crontab定时调度已经无法满足使用需求.急需一个任务依赖调度系统,笔者以前使用过oozie,但是oozie配置过多,而且维护繁琐,属于重量级系统.所以最终我选择使用azkaban.网上关于oozie和azkaban比较的文章很多,有兴趣可以 ...
分类：
其他好文 时间：
2018-05-26 16:45:38
阅读次数：
272
2018年警醒 对于2018年，我的愿望：继续深挖机器学习领域，继续学习高等数学、文学，坚持跑步、健身、控制饮食。 Todo list 工作：任务迁移到调度系统——粉丝力任务迁移(doing) 工作：新闻排重效果跟进 学习：微积分学习博客一篇 健身：俯卧撑100 饮食情况 早上：空腹 中午： 晚上： ...
分类：
其他好文 时间：
2018-05-21 12:39:11
阅读次数：
133
