码迷,mamicode.com
首页 > 其他好文 > 详细

Airflow 中文文档:写日志

时间:2018-11-29 19:56:55      阅读:312      评论:0      收藏:0      [点我收藏+]

标签:写入   hub   home   github   base   开始   amazon   指定   用户   

在本地编写日志

用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下,它位于AIRFLOW_HOME目录中。

此外,用户可以提供远程位置,以便在云存储中存储日志和日志备份。

在Airflow Web UI中,本地日志优先于远程日志。 如果找不到或访问本地日志,将显示远程日志。 请注意,只有在任务完成(包括失败)后才会将日志发送到远程存储。 换句话说,运行任务的远程日志不可用。 日志作为{dag_id}/{task_id}/{execution_date}/{try_number}.log存储在日志文件夹中。

将日志写入Amazon S3

在你开始之前

远程日志记录使用现有的Airflow连接来读取/写入日志。 如果没有正确设置连接,则会失败。

启用远程日志记录

要启用此功能,必须按照此示例配置airflow.cfg :

阅读全文/改进本文

Airflow 中文文档:写日志

标签:写入   hub   home   github   base   开始   amazon   指定   用户   

原文地址:https://www.cnblogs.com/wizardforcel/p/10039821.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!