码迷,mamicode.com
首页 > 其他好文 > 详细

superset采集流程

时间:2019-11-16 21:22:47      阅读:77      评论:0      收藏:0      [点我收藏+]

标签:bsp   分析   从库   flow   数据   业务   没有   slave   ide   

superset采集流程:

先从业务的bi从库oride-slave-bi(10.52.123.212)去拿数,然后计算(每10分钟由airflow调py代码),放到bi的库(BI业务-数据指标存储10.52.149.112)由superset显示出来. 还有一部分数据是由算法的redis来

痛点: superset突然出现悬崖式断点

分析原因:

1/  airflow调度时拥塞,处理速度慢

2/ 业务的bi从库没有数

3/ 从算法的redis里拿不到数 

 

 

superset采集流程

标签:bsp   分析   从库   flow   数据   业务   没有   slave   ide   

原文地址:https://www.cnblogs.com/hongfeng2019/p/11873404.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!