背景不知道是否你还在为下面的问题而困扰：?当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。?当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。?当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很
分类：
其他好文 时间：
2020-10-29 09:41:38
阅读次数：
14
背景不知道是否你还在为下面的问题而困扰：?当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。?当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。?当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很
分类：
其他好文 时间：
2020-10-29 09:41:24
阅读次数：
16
Canal是阿里巴巴旗下的一款开源项目，利用Java开发。主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费，目前主要支持MySQL。 ...
分类：
数据库 时间：
2020-10-20 16:24:09
阅读次数：
50
一、mysql主从复制的三种复制方式 1、主从复制之异步复制 MySQL主从异步复制是最常见的复制场景。数据的完整性依赖于主库BINLOG的不丢失，只要主库的BINLOG不丢失，那么就算主库宕机了，我们还可以通过BINLOG把丢失的部分数据通过手工同步到从库上去。 传统的MySQL复制采用主从的方式 ...
分类：
数据库 时间：
2020-10-09 21:21:23
阅读次数：
41
一、从库线程管理 1、停止线程 2、启动、停止单个线程 3、需要重新change master to的时候 4、从库关于主从的相关文件 5、查看relaylog内容 二、模拟主从复制过程中的故障 1、连接数过小问题 排查思路： 2、模拟主库binlog日志与从库对应不上问题 报错描述： 3、模拟SQ ...
分类：
数据库 时间：
2020-10-05 22:23:52
阅读次数：
38
1. statement（默认模式） 缺点：主从复制有延时，当写操作的SQL里存在函数时，会造成主从复制不一致。 特点： （1）此模式不支持RU,RC隔离级别； （2）binglog日志文件中上一个事物的结束点是下一个事物的开始点； （3）DML，DDL语句都会明文显示； （4）对一些系统函数不能准 ...
分类：
其他好文 时间：
2020-09-08 20:40:06
阅读次数：
47
#!/usr/bin/env python# -*- coding:utf-8 -*-# Author:guozhen.zhangimport MySQLdbimport timeimport os# 创建备份binlog目录project_path = '/data/binlog_back' # ...
分类：
数据库 时间：
2020-08-25 15:45:56
阅读次数：
71
Canal使用场景 数据库备份更新 搜索引擎索引更新&建立 业务缓存的更新 充当消息组件（订单变更，商品资料变更等） Canal环境部署 搭建Mysql 配置数据库配置文件 增加以下配置信息 log-bin=mysql-bin # 启动binlog日志 binlog-format=ROW # 选择r ...
分类：
数据库 时间：
2020-08-20 19:10:01
阅读次数：
98
1.mysql架构图Connectors：连接器，指的是不同语言中与SQL的交互ManagementServeices&Utilities：系统管理和控制工具ConnectionPool**:连接池a.管理缓冲用户连接，线程处理等需要缓存的需求。b.负责监听对MySQLServer的各种请求，接收连接请求，转发所有连接请求到线程管理模块。每一个连接上MySQLServer的客户端请求都会被
分类：
数据库 时间：
2020-08-18 13:36:52
阅读次数：
79
