码迷,mamicode.com
首页 >  
搜索关键字:共享采集平台    ( 1个结果
太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下: 1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。 2、 确保数据复制的实时性(秒级)和数据的准确性 3、 复制的数据需要加上时间,操作类型等标签,便于后端应用识别 4、 以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响 5、 入kafka的数据格式可灵活配置,以便更好的适配后端应用 6、 需要具备数据操作统计和数据比对功能,便于核对数据的准确性
分类:数据库   时间:2018-06-13 15:14:53    阅读次数:1371
1条  
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!