码迷,mamicode.com
首页 > 数据库 > 详细

[实操笔记]MySQL主从同步功能实现

时间:2018-01-30 12:29:45      阅读:235      评论:0      收藏:0      [点我收藏+]

标签:timeout   写的不好   中继   不同的   sqlt   dump   basedir   not   targe   

写在前边:

这两天来了个需求,配置部署两台服务器的MySQL数据同步,折腾了两天查了很多相关资料,一直连不上,后来发现其实是数据库授权的ip有问题,我们用的服务器是机房中的虚拟机加上反向代理出来的,坑的不行。看了好多博客,写的怎么说呢,写的好的是太好了太详细了;写的不好的,配置什么的都讲的不清楚,刚接触这块的时候不晓得原理,一味的复制粘贴,后来看到有个博主写的好文,瞬间醍醐灌顶,也有了自己的思路,我就简单的记录下操作步骤和一些细节的注释,原理就直接搬运了,原理图也画了份,就不献丑了,有写错的地方,还望各位大佬不吝赐教,在下感激不尽!

配置MySQL的主从同步有什么好处?

 1--数据分布 (Data distribution )
    2--负载平衡(load balancing)
    3--数据备份(Backups) ,保证数据安全(最主要的作用)
    4--高可用性和容错行(High availability and failover)
    5--实现读写分离,缓解数据库压力

MySQL主从同步实现原理(参考博文点这里):

master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;salve服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件,同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤醒。
注意几点:
     1--master将操作语句记录到binlog日志中,然后授予slave远程连接的权限(master一定要开启binlog二进制日志功能;通常为了数据安全考虑,slave也开启binlog功能)。
     2--slave开启两个线程:IO线程和SQL线程。其中:IO线程负责读取master的binlog内容到中继日志relay log里;SQL线程负责从relay log日志里读出binlog内容,并更新到slave的数据库里,这样就能保证slave数据和master数据保持一致了。
     3--Mysql复制至少需要两个Mysql的服务,当然Mysql服务可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。
     4--Mysql复制最好确保master和slave服务器上的Mysql版本相同(如果不能满足版本一致,那么要保证master主节点的版本低于slave从节点的版本)
     5--master和slave两节点间时间需同步

Mysql复制的流程图如下:

技术分享图片

MySQL是怎样同步的?

 1--基于语句的复制: 在主服务器上执行的SQL语句,在从服务器上执行同样的语句。MySQL默认采用基于语句的复制,效率比较高。一旦发现没法精确复制时,会自动选着基于行的复制。 
    2--基于行的复制:把改变的内容复制过去,而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持
    3--混合类型的复制: 默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。

实现环境:

| System   | mysql      |  ip        |

|:----     |:----        |:----

|win7      | mysql-5.6.24   | 192.168.1.129 |

|centos 6.7  | mysql-5.6.39   | 192.168.1.128 |

注:从服务器的mysql版本最好和主服务器相同,或者大于主服务器版本

MySQL主从同步的实现部分:

首先是Master(主节点)的配置:

#主Master服务器配置:

1.进入mysql的安装目录,新建一个log文件夹(这个是存储binary log的路径)

2.主服务器开启log_bin,需修改my.ini,配置如下:

#*********************master my.ini配置文件开始*****************************************
#路径均为当前服务器的实际路径
basedir = D:\\apps\\mysql-5.6.24-win32
datadir = D:\\apps\\mysql-5.6.24-win32\\data
port = 3306

#生成记录文件位置,同步必须,请勿手动删除,格式位置为 :log-bin=mysql安装路径/log/mysql-bin.log
log-bin=D:\\apps\\mysql-5.6.24-win32\\log\\mysql-bin.log
#服务ID,用于区分服务,范围1~2^32-1,需要与从服务器不同
server_id= 1
#MySQL 磁盘写入策略以及数据安全性
#每次事务提交时MySQL都会把log buffer的数据写入log file,并且flush(刷到磁盘)中去
innodb_flush_log_at_trx_commit=1

#当sync_binlog =N (N>0) ,MySQL 在每写 N次 二进制日志binary log时,会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。
sync_binlog 的默认值是0,像操作系统刷其他文件的机制一样,MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。 sync_binlog= 1 #同步数据库,如果多库,就以此格式另写几行即可 binlog-do-db=test #无需同步的数据库,以下几行基本一样,无需改动 binlog-ignore-db = cluster binlog-ignore-db = mysql binlog-ignore-db = performance_schema binlog-ignore-db = information_schema #mysql复制模式,三种:SBR(基于sql语句复制),RBR(基于行的复制),MBR(混合模式复制) #混合模式复制 binlog_format=MIXED #binlog过期清理时间 expire_logs_days=7 #binlog每个日志文件大小 max_binlog_size=20M #*********************master my.ini配置文件结束*****************************************

3.重启mysql服务,mysql命令行执行:

show master status;#记录文件名以及紧跟的当前行数数字

4.创建并授权用户,后两个slave分别是用户名和密码

grant replication slave ,replication client on *.* to slave@192.168.1.128 identified by "slave";
flush privileges; #权限修改立即生效
flush tables with read lock; #锁定数据库为只读,确保备份数据一致性

5.退出mysql命令行,执行备份命令

#备份当前所有数据库,可以参考备份单库
mysqldump -u root -p --all-databases --master-data > dbdump.sql

6.将sql脚本在从服务器执行
7.从服务器启动slave(前提是配置好从服务器)
8.从服务器启动完毕后关闭表锁

unlock tables;

 

#从服务器的配置

1.停掉slave服务

service mysqld stop

2.修改配置文件:

vim /etc/my.cnf
#从数据库(Slave)配置:
#***********************************slave my.cnf配置开始******************************
#从库日志记录文件位置或名称前缀
log_bin = /var/lib/mysql/mylogbin.log
#同步日志记录的频率,1为每条都记录,安全但效率低
sync_binlog = 1
#server的id,不能与相同id的mysql主从连接
server-id=2
#从库日志忽略的数据库名称,不记录
#这里记录从库的binlog是为了安全,如果觉得没必要,可以去掉从库binlog的配置 binlog-ignore-db = cluster binlog-ignore-db = mysql binlog-ignore-db = performance_schema binlog-ignore-db = information_schema #此处添加需要同步的数据库名称,那么它会只接收这个数据库的信息,多个数据库需同步按照此格式另写几行即可
#这里同步数据有两种思路,一种是主服务器只发从库需要的,在主库指定;一种是主服务器把所有数据同步过来,从库按需过滤接收
#为了让配置更详细些,此处配置了从库过滤接收的配置 replicate-do-db=test #忽略接收的库名 replicate-ignore-db = cluster replicate-ignore-db = mysql replicate-ignore-db = performance_schema replicate-ignore-db = information_schema #跳过所有错误继续 slave-skip-errors=all #设置延时时间 slave-net-timeout=60 #mysql复制模式,三种:SBR(基于sql语句复制),RBR(基于行的复制),MBR(混合模式复制) binlog_format=MIXED #混合模式复制 expire_logs_days=7 #binlog过期清理时间 max_binlog_size=20M #binlog每个日志文件大小 #***********************************slave my.cnf配置结束******************************

3.保存退出:wq

4.启动mysqld服务

service mysqld start

5.删除多余数据库,导入数据,删除部分不予演示,sql的位置请自行指定

mysqldump -u root -p < ~/dbdump.sql #这里演示就是上传到了root的根目录,具体请使用“find / -name sql脚本名” 命令查询

6.从服务器指定master

CHANGE MASTER TO
MASTER_HOST=192.168.1.129,
MASTER_USER=slave,
MASTER_PASSWORD=slave,
MASTER_LOG_FILE=mysql-bin.000001,
MASTER_LOG_POS=593;

注:最后两行是之前在主服务器show master status 所记录的数据

  如果之前已经启动了一个slave进程,那么以上的命令会失效,并提示stop slave first,所以先stop slave; 然后重试

7.启动slave

start slave;
show slave status\G #注意,没有分号

 输出如下,显示两个都为yes即成功,可以测试一下

mysql> show slave status;

*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.129
                  Master_User: replication
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 593
               Relay_Log_File: mysql-relay-log.000004
                Relay_Log_Pos: 441
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 52360
              Relay_Log_Space: 597
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1
"""

8.去主服务器开启表只读锁

unlock tables;

--------------------------------实现部分到此结束--------------------------------------

彻底解除主从复制关系
1)stop slave;
2)reset slave; #或直接删除master.info和relay-log.info这两个文件;
3)修改my.cnf删除主从相关配置参数。

4)Delete FROM user Where User=‘slave‘ and Host=‘192.168.1.128‘;#删除主服务器配置的连接slave用户


 

本文参考博文列表:

Mysql主从同步(1)-主从/主主环境部署梳理

MySQL5.7 添加用户、删除用户与授权

mysql设置指定ip访问,用户权限相关操作

win7下mysql5.6与centos下mysql5.6主从复制

mysql5.6 主从复制同步详细配置(图文)

MySQL5.6 数据库主从(Master/Slave)同步安装与配置详解

centos 7下mysql5.7 主从数据库同步配置

MySql 5.7.18 数据库主从(Master/Slave)同步安装与配置详解

mysql从库Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: ‘Could not find first log file name in binary log index file‘报错处理

【MySQL】Last_IO_Errno: 1593 server-uuid重复导致slave报错 

【MySQL】MySQL5.6数据库基于binlog主从(Master/Slave)同步安装与配置详解

Window 下mysql binlog开启及查看,mysqlbinlog

mysql主从复制-CHANGE MASTER TO 语法详解

[trouble] error connecting to master ‘repl@192.168.1.107:3306‘ - retry-time: 60 retries: 86400

 

 

 

[实操笔记]MySQL主从同步功能实现

标签:timeout   写的不好   中继   不同的   sqlt   dump   basedir   not   targe   

原文地址:https://www.cnblogs.com/hellxz/p/8378601.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!