码迷,mamicode.com
首页 > 其他好文 > 详细

数据仓库 Azkaban调度器

时间:2020-07-03 01:04:27      阅读:73      评论:0      收藏:0      [点我收藏+]

标签:com   comm   gui   azkaban   导出   sql   span   exp   执行   

GMV指标获取的全调度流程

import.job文件,第一步,从mysql导入数据

type=command
do_date=${dt}
command=/home/atguigu/bin/sqoop_import.sh all ${do_date}

ods.job文件

type=command
do_date=${dt}
dependencies=import
command=/home/atguigu/bin/ods_db.sh ${do_date}

dwd.job文件

type=command
do_date=${dt}
dependencies=ods
command=/home/atguigu/bin/dwd_db.sh ${do_date}

dws.job文件

type=command
do_date=${dt}
dependencies=dwd
command=/home/atguigu/bin/dws_db_wide.sh ${do_date}

ads.job文件,本例以GMV指标获取的全调度流程为例,只执行一个ads_db_gmv.sh脚本,完整的数据,应该有多个ads层业务脚本并行执行。

type=command
do_date=${dt}
dependencies=dws
command=/home/atguigu/bin/ads_db_gmv.sh ${do_date}

export.job文件,最后一步,导出到mysql

type=command
dependencies=ads
command=/home/atguigu/bin/sqoop_export.sh ads_gmv_sum_day 

 

数据仓库 Azkaban调度器

标签:com   comm   gui   azkaban   导出   sql   span   exp   执行   

原文地址:https://www.cnblogs.com/noyouth/p/13227871.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!