从MySQL5.6开始，mysqlbinlog支持将远程服务器上的binlog实时复制到本地服务器上。 mysqlbinlog的实时二进制复制功能并非简单的将远程服务器的日志复制过来，它是通过MySQL 5.6公布的Replication API实时获取二进制事件。本质上，就相当于MySQL的从服务 ...
分类：
数据库 时间：
2021-02-04 12:24:34
阅读次数：
0
二进制日志： 1先确认正在用的是哪个日志： show master status; 2查看当前日志文件的事件： show binlog events in 'mysql-bin.000003'; 3通过位置号截取二进制日志： mysqlbinlog --start-position --stop-p ...
分类：
其他好文 时间：
2021-02-03 10:37:19
阅读次数：
0
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
一、背景在早期从MySQL到TiDB实施同步操作过程中，我们大多数用的是mydumper+loader进行整体全量备份的导出，之后拿到meta信息后，通过syncer实现增量同步，整体操作起来比较麻烦，涉及的配置文件较多，其基本原理就是Syncer通过把自己注册为一个MySQLSlave的方式，和MySQLMaster进行通信，然后不断读取MySQLBinlog，进行BinlogEvent解析，规
分类：
数据库 时间：
2020-11-17 12:42:38
阅读次数：
15
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
故事背景今年年初的时候写了一篇文章《围观：基于事件机制的内部解耦之心路历程》。这篇文章主要讲的是用ES数据异构的场景。程序订阅MysqlBinlog的变更，然后程序内部使用SpringEvent来分发具体的事件，因为一个表的数据变更可能会需要更新多个ES索引。为了方便大家理解我把之前方案的图片复制过来了，如下：上图的方案存在一个问题，就是我们今天文章要聊的内容。这个问题就是当MQConsumer收
分类：
其他好文 时间：
2020-07-31 01:13:30
阅读次数：
71
mysql 一般没人会开启全局日志，量太大了，还占用服务器资源。但是binlog 都是开启的（不会还有不开启binlog的兄弟吧） 有时会遇到 查询某段时间sql历史的 问题： 二进制日志没法直接看，mysql有自带的mysqlbinlog 命令/工具 可以解析二进制日志 最开始自己一般直接用 my ...
分类：
数据库 时间：
2020-06-17 20:34:49
阅读次数：
73
在MySQL或MariaDB中，任意时间对数据库所做的修改，都会被记录到日志文件中。例如，当你添加了一个新的表，或者更新了一条数据，这些事件都会被存储到二进制日志文件中。二进制日志文件在MySQL主从复合中是非常有用的，主服务器会发送其数据到远程服务器中。 当你需要恢复MySQL时，也会需要使用到二 ...
分类：
数据库 时间：
2020-05-09 00:47:16
阅读次数：
81
解析分析线上30分中26G的binlog，排查阿里云RDS主库插入ROWS和监控数据不匹配问题。解析binlog汇总到一起：foriinls/mnt/bi/;do/opt/software/mysql-8.0.19-linux-glibc2.12-x86_64/bin/mysqlbinlog-v--base64-output=decode-rows$i>>all_decoded.sql
分类：
其他好文 时间：
2020-04-30 15:23:31
阅读次数：
69
1.介绍 传统的MySQL复制提供了一种简单的Primary-Secondary复制方法，默认情况下，复制是单向异步的。 MySQL支持两种复制方式：基于行的复制和基于语句的复制。(体现在mysqlbinlog日志的记录方式) 这两种方式都是通过在主库上记录二进制日志（binlog）、在从库重放中继 ...
分类：
数据库 时间：
2020-03-21 23:51:16
阅读次数：
163
