码迷,mamicode.com
首页 > 其他好文 > 详细

数据平滑迁移之追日志法

时间:2020-05-27 15:53:22      阅读:65      评论:0      收藏:0      [点我收藏+]

标签:是什么   升级   企业   数据   详细   问题   主键   读取   个数   

数据平滑迁移种种需求,都需要进行数据迁移,如何平滑迁移数据,迁移过程不停机,保证系统持续服务,是文本将要讨论的问题。
平滑迁移-追日志法
1、数据迁移前,上游业务应用通过旧的服务访问旧的数据。服务进行升级,记录“对旧库上的数据修改”的日志(这里的修改,为数据的insert、delete、update),这个日志不需要记录详细数据,主要记录:1、被修改的库2、被修改的表3、被修改的唯一主键
2、研发一个数据迁移工具,进行数据迁移。这个数据迁移工具和离线迁移工具一样,把旧库中的数据转移到新库中来。
具体新增了什么行,修改后的数据格式是什么,不需要详细记录。这样的好处是,不管业务细节如何变化,日志的格式一定是固定的,这样能保证方案的通用性。
3、研发一个读取日志并迁移数据的小工具,要把步骤二迁移数据过程中产生的差异数据追平。这个小工具需要做的是:
1.读取日志,得到哪个库、哪个表、哪个主键发生了变化
2.把旧库中对应主键的记录读取出来
3.把新库中对应主键的记录替换掉
4无论如何,原则是数据以旧库为准。在持续重放日志,追平数据的过程中,研发一个数据校验的小工具,将旧库和新库中的数据进行比对,直到数据完全一致。
5在数据比对完全一致之后,将流量迁移到新库,新库提供服务,完成迁移。
UCACHE灾备云利用现有的数据中心及软硬件的整体方案实现了云端灾备,成本低,灵活的方案,保证企业重复数据删除技术

数据平滑迁移之追日志法

标签:是什么   升级   企业   数据   详细   问题   主键   读取   个数   

原文地址:https://blog.51cto.com/14817364/2498836

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!