标签：client 版本 protobuf 巴巴 inf nbsp 模拟 大数据 开源
大数据时代下的数据同步
1）、基于数据库日志(比如mysql的binlog)的同步
我们都知道很多数据库都支持了主从自动同步，尤其是mysql，可以支持多主多从的模式。那么我们是不是可以利用这种思想呢，答案当然是肯定的，mysql的主从同步的过程是这样的。
? A、master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
? B、slave将master的binary log events拷贝到它的中继日志(relay log)；
? C、slave重做中继日志中的事件，将改变反映它自己的数据。
阿里巴巴开源的canal就完美的使用这种方式，canal 伪装了一个Slave 去和Master进行同步
A、 canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
B、 mysql master收到dump请求，开始推送binary log给slave(也就是canal)
C、 canal解析binary log对象(原始为byte流)
另外canal 在设计时，特别设计了 client-server 模式，交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑。
另外canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ
标签：client 版本 protobuf 巴巴 inf nbsp 模拟 大数据 开源
原文地址：https://www.cnblogs.com/hnxxcxg/p/11782388.html
