码迷,mamicode.com
首页 > 其他好文 > 详细

Replication的犄角旮旯(八)-- 订阅与发布异构的问题

时间:2015-02-12 18:08:54      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:

原文:Replication的犄角旮旯(八)-- 订阅与发布异构的问题

 

 

《Replication的犄角旮旯》系列导读

Replication的犄角旮旯(一)--变更订阅端表名的应用场景

Replication的犄角旮旯(二)--寻找订阅端丢失的记录

Replication的犄角旮旯(三)--聊聊@bitmap

Replication的犄角旮旯(四)--关于事务复制的监控

Replication的犄角旮旯(五)--关于复制identity列

Replication的犄角旮旯(六)-- 一个DDL引发的血案(上)(如何近似估算DDL操作进度)

Replication的犄角旮旯(七)-- 一个DDL引发的血案(下)(聊聊logreader的延迟)

Replication的犄角旮旯(八)-- 订阅与发布异构的问题

Replication的犄角旮旯(九)-- sp_setsubscriptionxactseqno,赋予订阅活力的工具

---------------------------------------华丽丽的分割线--------------------------------------------

 

订阅与发布异构的情况并不常见,我们曾经的案例是对发布表扩充列长度时,避免长时间锁表而采用异构的方式,详见之前的博客

Replication的犄角旮旯(一)--变更订阅端表名的应用场景

对于异构产生的问题,还要感谢微软工程师浩然兄的提醒。

 

前言:

订阅与发布异构(我定义的名字):实际指发布端和订阅端存在列长度上的不一致情况,如发布端某列为int类型,由于业务增长,需要扩容到bigint;

尽管replication支持DDL的传递,但直接在发布表上alter table,执行时间受表大小和更新频率影响较大,长时间的锁表必然是业务所不能容忍的;因此,想到个折中的办法——复制回路。

也就是通过一个闭环,本地发布的表创建一个到本地的异构订阅,在同步完数据后,通过交换表名的方式,实现数据表的alter变更操作,可以最大化的缩短锁表时间;

但这其中却碰到个问题,也就是本文要描述的中心内容;

 

闲话少叙,亮真家伙!

 

现象:创建异构表后,通过快照初始化时,发现订阅端记录全部乱掉;

技术分享
1 CREATE TABLE test_a.dbo.tmp_byxl_01 (id INT NOT NULL PRIMARY KEY IDENTITY NOT FOR REPLICATION,flag TINYINT)
2 CREATE TABLE test_b.dbo.tmp_byxl_01_new (id BIGINT NOT NULL PRIMARY KEY IDENTITY NOT FOR REPLICATION ,flag TINYINT)
3 
4 INSERT INTO test_a.dbo.tmp_byxl_01 VALUES(1),(2)
5 
6 SELECT * FROM test_a.dbo.tmp_byxl_01
7 SELECT * FROM test_b.dbo.tmp_byxl_01
View Code

使用上面的脚本创建测试表和测试数据,采用默认方式创建事务复制(注意,由于发布和订阅端异构,在选择artile属性时,需选择“保持现有对象不变”)

技术分享

技术分享
1 INSERT INTO test_a.dbo.tmp_byxl_01 VALUES(3),(4)
2 
3 SELECT * FROM test_a.dbo.tmp_byxl_01
4 SELECT * FROM test_b.dbo.tmp_byxl_01
View Code

查看发布和订阅的数据

发现通过快照初始化的数据(1,2)在订阅端只变成了一行,且ID和flag的值都不正确;而快照初始化后写入的数据时正确的;

技术分享

 

反复测试后,均出现了类似的情况;

经浩然兄指点,怀疑是在创建快照的时候,由于是二进制形式,int和bigint存储的长度有差异(int为4字节,bigint为8字节),在订阅端解析时,由于异构的存在,对二进制解析截断存在偏差,因此导致应用快照后出现数据异常;

而新增的数据,由于replication默认采用订阅端call proc的方式,只是数据的传递,因此不存在类似的问题;

 

再纠结了一个多月后,这个问题终于有了进展;

既然问题出在快照创建的阶段,因此考虑尝试使用其他模式的快照

sp_addpublication中有个参数@sync_method

技术分享

由于我们是事务复制,因此改成concurrent_c

对图形界面来说,需要修改发布属性中的快照格式,改成字符型;

技术分享

 

重新以字符型格式创建快照,可以看到订阅端数据正常了;

技术分享

 

问题分析:由于暂时没有十六进制分析工具,没有进一步分析本机格式和字符格式下创建的快照有什么样的差异,但初步怀疑,字符型为了兼容非sqlserver环境的发布或订阅,可能以列分隔符的方式取代了本机格式中的二进制形式,这样在订阅端应用快照时,即可忽略订阅端的结构,只应用数据;

 

Replication的犄角旮旯(八)-- 订阅与发布异构的问题

标签:

原文地址:http://www.cnblogs.com/lonelyxmas/p/4288564.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!