DaskExecutor允许您在Dask分布式群集中运行Airflow任务。 Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。 要创建集群，首先启动调度程序： 接下来，在任何可以连接到主机的计算机上启动至少一个Worker： 阅读全文／改进本文 ...
分类：
其他好文 时间：
2018-11-29 20:13:14
阅读次数：
241
var ScriptLoader = { worker: 0, isWait: false, readyQueue: [], callback: [], timer: null, wait: function () { if (!this._isComplateTask()) { this.isWa... ...
分类：
Web程序 时间：
2018-11-28 12:34:33
阅读次数：
215
本文转自：https://blog.csdn.net/wangshouhan/article/details/80405672 一.Docker1.CentOS下Docker安装 安装 $ yum -y install docker-io 查看docker版本 $ docker version 启动 ...
分类：
其他好文 时间：
2018-11-26 11:48:41
阅读次数：
463
2018 2019 120189224 《庖丁解牛Iinux内核分析》第七周学习总结 进程的描述 j进程的创建 fork创建了两个进程，一个父进程，一个子进程，其中子进程是对父进程的拷贝，它从父进程处复制了整个进程的地址空间，只有进程号和一些计时器等等是自己独有的，由于要复制很多资源，所以fork创 ...
分类：
系统相关 时间：
2018-11-26 00:22:46
阅读次数：
198
线程，是程序执行流的最小单位。线程可与同属一个进程的其他线程共享所拥有的全部资源，同一进程中的多个线程之间可以并发执行。线程有就绪，阻塞，运行三种基本状态。 阮一峰大神针对进程和线程的类比，很是形象：计算机的核心CPU，是个工厂，时刻运转着，工厂里有很多个车间（进程），一个车间开工其他车间不能开工， ...
分类：
编程语言 时间：
2018-11-25 11:55:05
阅读次数：
190
1. celery介绍和使用 Celery 是一个 基于python开发的分布式异步消息任务队列(可以简单理解为python多进程或多线程中的queue)，通过它可以轻松的实现任务的异步处理。celery的架构由三部分组成：消息中间件（message broker），任务执行单元（worker）和任 ...
分类：
其他好文 时间：
2018-11-24 14:15:50
阅读次数：
294
mnist数据集获取:可从 "Yann LeCun教授管网" 获取; tensorflow中可使用 导入下载到本地的mnist数据集; "/worker/mnistdata/"为数据集存放的位置. Extracting /worker/mnistdata/train images idx3 ubyt ...
分类：
其他好文 时间：
2018-11-23 21:31:14
阅读次数：
366
worker pool简介 worker pool其实就是线程池thread pool。对于go来说，直接使用的是goroutine而非线程，不过这里仍然以线程来解释线程池。 在线程池模型中， 有2个队列一个池子：任务队列、已完成任务队列和线程池 。其中已完成任务队列可能存在也可能不存在，依据实际需 ...
分类：
其他好文 时间：
2018-11-22 23:58:15
阅读次数：
290
yarn启动spark进行测试时候发现，几台机器上启动executor都失败了，日志如下2018-11-22 14:32:24 WARN YarnAllocator:66 - Container marked as failed: container_1516236189600_0229_01_00 ...
分类：
其他好文 时间：
2018-11-22 16:05:24
阅读次数：
308
主线程： worker线程: 详细使用教程：http://www.ruanyifeng.com/blog/2018/07/web-worker.html ...
分类：
Web程序 时间：
2018-11-21 15:53:48
阅读次数：
208
