数据流向:
由来自上游的数据传输到ODS操作数据存储系统,然后底层业务开发部门根据ODS开的VIEW层通过DATESTAGE抽取数据到底层业务开发的数据库。
从立项到开发上线,经过开发新表和不断测试然后上线的过程,难点在存储过程和这个行业的业务,因为使用ODS和数据仓库的多是金融行业,涉及库的交叉较多,就算开发人员有数据查询的字典,也很难从整体上把握每个表所使用到的业务,故需要根据上游部门的具体业务来开发数据库。
开发语言的使用:
SQL语句/Java/Hadoop/R
因为需要满足金融行业的安全稳定等因素,所以Java的开发技术以及框架、工具过于老旧。
使用Excel的频率很多,大量繁琐的、重复的操作, 部门人员的背景也是各式各样的。