写在前边:
这两天来了个需求,配置部署两台服务器的MySQL数据同步,折腾了两天查了很多相关资料,一直连不上,后来发现其实是数据库授权的ip有问题,我们用的服务器是机房中的虚拟机加上反向代理出来的,坑的不行。看了好多博客,写的怎么说呢,写的好的是太好了太详细了;写的不好的,配置什么的都讲的不清楚,刚接触这块的时候不晓得原理,一味的复制粘贴,后来看到有个博主写的好文,瞬间醍醐灌顶,也有了自己的思路,我就简单的记录下操作步骤和一些细节的注释,原理就直接搬运了,原理图也画了份,就不献丑了,有写错的地方,还望各位大佬不吝赐教,在下感激不尽!
配置MySQL的主从同步有什么好处?
1--数据分布 (Data distribution )
2--负载平衡(load balancing)
3--数据备份(Backups) ,保证数据安全(最主要的作用)
4--高可用性和容错行(High availability and failover)
5--实现读写分离,缓解数据库压力
MySQL主从同步实现原理(参考博文点这里):
master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件,同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤醒。
注意几点:
1--master将操作语句记录到binlog日志中,然后授予slave远程连接的权限(master一定要开启binlog二进制日志功能;通常为了数据安全考虑,slave也开启binlog功能)。
2--slave开启两个线程:IO线程和SQL线程。其中:IO线程负责读取master的binlog内容到中继日志relay log里;SQL线程负责从relay log日志里读出binlog内容,并更新到slave的数据库里,这样就能保证slave数据和master数据保持一致了。
3--Mysql复制至少需要两个Mysql的服务,当然Mysql服务可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。
4--Mysql复制最好确保master和slave服务器上的Mysql版本相同(如果不能满足版本一致,那么要保证master主节点的版本低于slave从节点的版本)
5--master和slave两节点间时间需同步
Mysql复制的流程图如下:
MySQL是怎样同步的?
1--基于语句的复制: 在主服务器上执行的SQL语句,在从服务器上执行同样的语句。MySQL默认采用基于语句的复制,效率比较高。一旦发现没法精确复制时,会自动选着基于行的复制。
2--基于行的复制:把改变的内容复制过去,而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持
3--混合类型的复制: 默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。
实现环境:
| System | mysql | ip |
|:---- |:---- |:----
|win7 | mysql-5.6.24 | 192.168.1.129 |
|centos 6.7 | mysql-5.6.39 | 192.168.1.128 |
注:从服务器的mysql版本最好和主服务器相同,或者大于主服务器版本
MySQL主从同步的实现部分:
首先是Master(主节点)的配置:
#主Master服务器配置:
1.进入mysql的安装目录,新建一个log文件夹(这个是存储binary log的路径)
2.主服务器开启log_bin,需修改my.ini,配置如下:
#*********************master my.ini配置文件开始*****************************************
#路径均为当前服务器的实际路径
basedir = D:\\apps\\mysql-5.6.24-win32
datadir = D:\\apps\\mysql-5.6.24-win32\\data
port = 3306
#生成记录文件位置,同步必须,请勿手动删除,格式位置为 :log-bin=mysql安装路径/log/mysql-bin.log
log-bin=D:\\apps\\mysql-5.6.24-win32\\log\\mysql-bin.log
#服务ID,用于区分服务,范围1~2^32-1,需要与从服务器不同
server_id= 1
#MySQL 磁盘写入策略以及数据安全性
#每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去
innodb_flush_log_at_trx_commit=1
#当sync_binlog =N (N>0) ,MySQL 在每写 N次 二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
sync_binlog 的默认值是0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
sync_binlog= 1
#同步数据库,如果多库,就以此格式另写几行即可
binlog-do-db=test
#无需同步的数据库,以下几行基本一样,无需改动
binlog-ignore-db = cluster
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = information_schema
#mysql复制模式,三种:SBR(基于sql语句复制),RBR(基于行的复制),MBR(混合模式复制)
#混合模式复制
binlog_format=MIXED
#binlog过期清理时间
expire_logs_days=7
#binlog每个日志文件大小
max_binlog_size=20M
#*********************master my.ini配置文件结束*****************************************
3.重启mysql服务,mysql命令行执行:
show master status;#记录文件名以及紧跟的当前行数数字
4.创建并授权用户,后两个slave分别是用户名和密码
grant replication slave ,replication client on *.* to slave@‘192.168.1.128‘ identified by "slave"; flush privileges; #权限修改立即生效 flush tables with read lock; #锁定数据库为只读,确保备份数据一致性
5.退出mysql命令行,执行备份命令
#备份当前所有数据库,可以参考备份单库 mysqldump -u root -p --all-databases --master-data > dbdump.sql
6.将sql脚本在从服务器执行
7.从服务器启动slave(前提是配置好从服务器)
8.从服务器启动完毕后关闭表锁
unlock tables;
#从服务器的配置
1.停掉slave服务
service mysqld stop
2.修改配置文件:
vim /etc/my.cnf
#从数据库(Slave)配置:
#***********************************slave my.cnf配置开始******************************
#从库日志记录文件位置或名称前缀
log_bin = /var/lib/mysql/mylogbin.log
#同步日志记录的频率,1为每条都记录,安全但效率低
sync_binlog = 1
#server的id,不能与相同id的mysql主从连接
server-id=2
#从库日志忽略的数据库名称,不记录
#这里记录从库的binlog是为了安全,如果觉得没必要,可以去掉从库binlog的配置
binlog-ignore-db = cluster
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = information_schema
#此处添加需要同步的数据库名称,那么它会只接收这个数据库的信息,多个数据库需同步按照此格式另写几行即可
#这里同步数据有两种思路,一种是主服务器只发从库需要的,在主库指定;一种是主服务器把所有数据同步过来,从库按需过滤接收
#为了让配置更详细些,此处配置了从库过滤接收的配置
replicate-do-db=test
#忽略接收的库名
replicate-ignore-db = cluster
replicate-ignore-db = mysql
replicate-ignore-db = performance_schema
replicate-ignore-db = information_schema
#跳过所有错误继续
slave-skip-errors=all
#设置延时时间
slave-net-timeout=60
#mysql复制模式,三种:SBR(基于sql语句复制),RBR(基于行的复制),MBR(混合模式复制)
binlog_format=MIXED #混合模式复制
expire_logs_days=7 #binlog过期清理时间
max_binlog_size=20M #binlog每个日志文件大小
#***********************************slave my.cnf配置结束******************************
3.保存退出:wq
4.启动mysqld服务
service mysqld start
5.删除多余数据库,导入数据,删除部分不予演示,sql的位置请自行指定
mysqldump -u root -p < ~/dbdump.sql #这里演示就是上传到了root的根目录,具体请使用“find / -name sql脚本名” 命令查询
6.从服务器指定master
CHANGE MASTER TO MASTER_HOST=‘192.168.1.129‘, MASTER_USER=‘slave‘, MASTER_PASSWORD=‘slave‘, MASTER_LOG_FILE=‘mysql-bin.000001‘, MASTER_LOG_POS=593;
注:最后两行是之前在主服务器show master status 所记录的数据
如果之前已经启动了一个slave进程,那么以上的命令会失效,并提示stop slave first,所以先stop slave; 然后重试
7.启动slave
start slave; show slave status\G #注意,没有分号
输出如下,显示两个都为yes即成功,可以测试一下
mysql> show slave status; *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.1.129 Master_User: replication Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000001 Read_Master_Log_Pos: 593 Relay_Log_File: mysql-relay-log.000004 Relay_Log_Pos: 441 Relay_Master_Log_File: mysql-bin.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 52360 Relay_Log_Space: 597 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1 """
8.去主服务器开启表只读锁
unlock tables;
--------------------------------实现部分到此结束--------------------------------------
彻底解除主从复制关系
1)stop slave;
2)reset slave; #或直接删除master.info和relay-log.info这两个文件;
3)修改my.cnf删除主从相关配置参数。
4)Delete FROM user Where User=‘slave‘ and Host=‘192.168.1.128‘;#删除主服务器配置的连接slave用户
本文参考博文列表:
Mysql主从同步(1)-主从/主主环境部署梳理
MySQL5.7 添加用户、删除用户与授权
mysql设置指定ip访问,用户权限相关操作
win7下mysql5.6与centos下mysql5.6主从复制
mysql5.6 主从复制同步详细配置(图文)
MySQL5.6 数据库主从(Master/Slave)同步安装与配置详解
centos 7下mysql5.7 主从数据库同步配置
MySql 5.7.18 数据库主从(Master/Slave)同步安装与配置详解
mysql从库Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: ‘Could not find first log file name in binary log index file‘报错处理
【MySQL】Last_IO_Errno: 1593 server-uuid重复导致slave报错
【MySQL】MySQL5.6数据库基于binlog主从(Master/Slave)同步安装与配置详解
Window 下mysql binlog开启及查看,mysqlbinlog
mysql主从复制-CHANGE MASTER TO 语法详解
[trouble] error connecting to master ‘repl@192.168.1.107:3306‘ - retry-time: 60 retries: 86400