根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下:
1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。
2、 确保数据复制的实时性(秒级)和数据的准确性
3、 复制的数据需要加上时间,操作类型等标签,便于后端应用识别
4、 以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响
5、 入kafka的数据格式可灵活配置,以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能,便于核对数据的准确性
分类:
数据库 时间:
2018-06-13 15:14:53
阅读次数:
1371