码迷,mamicode.com
首页 > 其他好文 > 详细

Airflow 中文文档:用Dask扩展

时间:2018-11-29 20:13:14      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:网络   创建   https   cut   群集   def   扩展   get   集群   

DaskExecutor允许您在Dask分布式群集中运行Airflow任务。

Dask集群可以在单个机器上运行,也可以在远程网络上运行。 有关完整详细信息,请参阅分布式文档 。

要创建集群,首先启动调度程序:

 # default settings for a local cluster
DASK_HOST = 127 .0.0.1
DASK_PORT = 8786

dask-scheduler --host $DASK_HOST --port $DASK_PORT

接下来,在任何可以连接到主机的计算机上启动至少一个Worker:

dask-worker $DASK_HOST : $DASK_PORT

阅读全文/改进本文

Airflow 中文文档:用Dask扩展

标签:网络   创建   https   cut   群集   def   扩展   get   集群   

原文地址:https://www.cnblogs.com/wizardforcel/p/10039831.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!