最近用Maxwell解析MySQL的Binlog，发送到Kafka进行处理，测试的时候发现一个问题，就是Kafka的Offset严重倾斜，三个partition，其中一个的offset已经快200万了，另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接 ...
分类：
其他好文 时间：
2018-08-24 19:23:25
阅读次数：
369
redis多实例 创建redis的存储目录 创建redis多实例的存储目录及文件 启动redis多实例进程 查看多实例文件夹目录树一览 appendonly.aof实际上里面记录的是我们对redis数据库的修改记录，这点类似于MySQL的binlog日志。 Redis主从同步 Redis主从同步特点 ...
分类：
其他好文 时间：
2018-08-22 14:58:12
阅读次数：
147
前言 在最近的工作中，由于自己粗（zuo）心（si）误update操作导致几百行的数据出现错误，在心急如焚的同时（那时候我竟然不知道除了备份之后还有binlog日志恢复）立马查资料学习binlog的恢复，随后立马进行了恢复。虽然可以假装自己没出错（emmmmm......最后还是得承认的！），但下班 ...
分类：
数据库 时间：
2018-08-02 01:55:05
阅读次数：
214
在讲解binlog日志三种模式前，先了解一下解析binlog日志的命令工mysqlbinlog。mysqlbinlog工具的作用是解析mysql的二进制binlog日志内容，把二进制日志解析成可以在MySQL数据库里执行的SQL语句。binlog日志原始数据是以二进制形式存在的，需要使用mysqlbinlog工具转换成SQL语句形式。mysql的binlog日志作用是用来记录mysql内部增删改等
分类：
数据库 时间：
2018-07-25 22:01:18
阅读次数：
242
需求描述: 开启mysql的binlog即binary log日志功能,在此记录下. 版本描述: mysql版本:5.7.21-log 操作过程: 1.修改my.cnf并且将以下参数加入其中,重启mysql实例 2.查看binlog相关系统参数值 备注:在my.cnf中设置好log-bin之后,lo ...
分类：
数据库 时间：
2018-07-19 16:15:59
阅读次数：
195
一：在linux环境下安装部署好mysql 开启binlog Vim /etc/my.cnf mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed） 3重启msyql服务 se ...
分类：
数据库 时间：
2018-07-03 00:18:42
阅读次数：
1711
最近在使用MySQL最新版本8.0.11，发现MySQL的log_bin参数default值改为了ON.刚开始没有注意到这个变化，导致在使用过程中发现产生了很多bin log,占用了大量的磁盘空间。 所以需要删除这些log，释放磁盘空间。 1. 使用show master logs,查看 mysql ...
分类：
数据库 时间：
2018-05-21 12:46:06
阅读次数：
265
数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户 ...
分类：
其他好文 时间：
2018-05-09 14:54:03
阅读次数：
176
###mysql查看binlog日志内容 https://blog.csdn.net/nuli888/article/details/52106910 mysql的binlog日志位置可通过show variables like '%datadir%';查看，直接打开无法查看，要看其内容2个办法：1 ...
分类：
数据库 时间：
2018-05-08 19:31:25
阅读次数：
288
小量的数据库可以每天进行完整备份，因为这也用不了多少时间，但当数据库很大时，就不太可能每天进行一次完整备份了，这时候就可以使用增量备份。增量备份的原理就是使用了mysql的binlog日志。本次操作的MySQL版本为5.5.40 for Linux (x86_64)。 增量备份要确保打开了二进制日志 ...
分类：
数据库 时间：
2018-04-02 15:14:09
阅读次数：
184
