码迷,mamicode.com
首页 > 其他好文 > 详细

如何用 pycharm 调试 airflow

时间:2019-12-30 21:06:12      阅读:219      评论:0      收藏:0      [点我收藏+]

标签:The   desc   ebs   print   pycha   bsp   页面   als   hello   

airflow 和 pycharm 相关基础知识请看其他博客

 

我们在使用 airflow的 dag时。 每次写完不知道对不对的,总不能到页面环境中跑一下,等到报错再调试吧。这是很让人恼火的事情

这里我想分享  如何用 pycharm 对 airflow 进行调试

 

airflow的运行环境,依赖于  airflow.cfg和  airflow_home,

pycharm 的项目目录应该和 airflow_home 相同目录。

 

1.  airflow的配置 

详细配置看请看其他博客,这里只是表名我的  airflow_home   = /data/airflow

[core]

dags_folder = /data/airflow/dags

# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /data/airflow/logs

plugins_folder = /data/airflow/plugins

sql_alchemy_conn =  mysql://airflow:airflow@IP:3306/airflowtest

broker_url = sqla+mysql://airflow:airflow@IP:3306/airflowtest

 

2. 启动webserver 模式下airflow

airflow webserver -D

airflow  scheduler -D 

airflow  workder -D 

技术图片

 

 

3. 在/data/airflow/dags 下新建范例  dag

 vim hello_world.py 

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator


def print_hello():
     print (hello my name is fanglianchao)
     return Hello world!


dag = DAG(hello_world, description=Simple tutorial DAG,
          schedule_interval=0 12 * * *,
          start_date=datetime(2017, 3, 20), catchup=False)

dummy_operator = DummyOperator(task_id=dummy_task, retries=3, dag=dag)

hello_operator = PythonOperator(task_id=hello_task, python_callable=print_hello, dag=dag)

dummy_operator >> hello_operator
~                                

4.执行测试:

如果以下测试成功,就代表安装成功了, 可以到 web 里面  触发执行看看

 airflow test hello_world hello_task 2019-10-10

技术图片

 

 技术图片

 

 

 

5. pycharm 项目配置

技术图片

 

 执行这个dag 

技术图片

 

 编辑这个dag 配置文件

技术图片

 

 技术图片

 

技术图片

 

 技术图片

 

 

 技术图片

如何用 pycharm 调试 airflow

标签:The   desc   ebs   print   pycha   bsp   页面   als   hello   

原文地址:https://www.cnblogs.com/fangxuanlang/p/12121441.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!