标签:The desc ebs print pycha bsp 页面 als hello
airflow 和 pycharm 相关基础知识请看其他博客
我们在使用 airflow的 dag时。 每次写完不知道对不对的,总不能到页面环境中跑一下,等到报错再调试吧。这是很让人恼火的事情
这里我想分享 如何用 pycharm 对 airflow 进行调试
airflow的运行环境,依赖于 airflow.cfg和 airflow_home,
pycharm 的项目目录应该和 airflow_home 相同目录。
1. airflow的配置
详细配置看请看其他博客,这里只是表名我的 airflow_home = /data/airflow
[core]
dags_folder = /data/airflow/dags
# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /data/airflow/logs
plugins_folder = /data/airflow/plugins
sql_alchemy_conn = mysql://airflow:airflow@IP:3306/airflowtest
broker_url = sqla+mysql://airflow:airflow@IP:3306/airflowtest
2. 启动webserver 模式下airflow
airflow webserver -D
airflow scheduler -D
airflow workder -D
3. 在/data/airflow/dags 下新建范例 dag
vim hello_world.py
from datetime import datetime from airflow import DAG from airflow.operators.dummy_operator import DummyOperator from airflow.operators.python_operator import PythonOperator def print_hello(): print (‘hello my name is fanglianchao‘) return ‘Hello world!‘ dag = DAG(‘hello_world‘, description=‘Simple tutorial DAG‘, schedule_interval=‘0 12 * * *‘, start_date=datetime(2017, 3, 20), catchup=False) dummy_operator = DummyOperator(task_id=‘dummy_task‘, retries=3, dag=dag) hello_operator = PythonOperator(task_id=‘hello_task‘, python_callable=print_hello, dag=dag) dummy_operator >> hello_operator ~
4.执行测试:
如果以下测试成功,就代表安装成功了, 可以到 web 里面 触发执行看看
airflow test hello_world hello_task 2019-10-10
5. pycharm 项目配置
执行这个dag
编辑这个dag 配置文件
标签:The desc ebs print pycha bsp 页面 als hello
原文地址:https://www.cnblogs.com/fangxuanlang/p/12121441.html