码迷,mamicode.com
首页 > 数据库 > 详细

MySQL学习笔记十七:复制特性

时间:2015-04-30 16:01:44      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:

一、MySQL的复制是将主数据库(master)的数据复制到从(slave)数据库上,专业一点讲就是将主数据库DDL和DML操作的二进制日志传到从库上,然后从库对这些二进制日志进行重做,使得主数据库与从数据库的数据保持同步。

二、MySQL复制的一些优点:

  1. 可以将大部分的查询任务放在从库上进行,降低主库的负载,提高性能,但要注意实时性要求高的数据仍需在主库上读取。
  2. 如果主库出现了宕机,可以快速切换到从库上,提高了可用性。
  3. 可以在从库上进行数据备份,降低在备份期间对主库的影响。
  4. 将数据挖掘和分析等工作放在从库上进行,可以降低对主库的性能影响。

三、MySQL复制处理数据的三种模式:

  1. 基于语句复制:也称为SBR(Statement Based Replication),基于实际执行的SQL语句来进行复制的方案,BINLOG_FORMAT=STATEMENT。
  2. 基于行的复制:也叫RBR(Row Bases Replication),BINLOG_FORMAT=ROW。
  3. 混合复制模式:也成MBR,基于SQL语句复制和行的复制,BINLOG_FORMAT=MIXED。

查看二进制日志的格式:

mysql> show global variables like binlog_format;
+---------------+-----------+
| Variable_name | Value     |  ---value的值有三种:statement,row,mixed
+---------------+-----------+
| binlog_format | STATEMENT |  
+---------------+-----------+
1 row in set (0.00 sec)

设置二进制日志的格式:

mysql> set global binlog_format=row;   --设置全局binlog_format,可以使用set session binlog_format=‘row‘来设置当前会话的binlog_format
Query OK, 0 rows affected (0.00 sec)
mysql> show GLOBAL variables like binlog_format;
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

在SQL中查看日志文件中的事件:

mysql> show binlog events in mysql-bin.000027 from 107; --from指定从日志哪个位置开始
+------------------+-----+------------+-----------+-------------+---------------------------------------------+
| Log_name         | Pos | Event_type | Server_id | End_log_pos | Info                                        |
+------------------+-----+------------+-----------+-------------+---------------------------------------------+
| mysql-bin.000027 | 107 | Query      |      3306 |         175 | BEGIN                                       |
| mysql-bin.000027 | 175 | Query      |      3306 |         264 | use `test`; insert into t1 values (10)      |
| mysql-bin.000027 | 264 | Query      |      3306 |         333 | COMMIT                                      |
| mysql-bin.000027 | 333 | Query      |      3306 |         401 | BEGIN                                       |
| mysql-bin.000027 | 401 | Query      |      3306 |         495 | use `test`; update t1 set id=70 where id=60 |
| mysql-bin.000027 | 495 | Query      |      3306 |         564 | COMMIT                                      |
| mysql-bin.000027 | 564 | Stop       |      3306 |         583 |                                             |
+------------------+-----+------------+-----------+-------------+---------------------------------------------+
7 rows in set (0.00 sec)

基于SQL语句的二进制日志记录原始SQL操作,而基于ROW格式的二进制日志记录的是每行数据的变更,采用64位编码,使用mysqlbinlog查看时须搭配--base64-output=‘decode-rows‘ --vv参数来解码查看。

四、MySQL复制流程

 MySQL复制基于二进制日志,开启二进制日志功能是必须的。当从库启动复制时(start slave),首先创建一个I/O线程连接主库,主库接着创建Binlog Dump线程读取二进制日志事件发送给从库的I/O线程,I/O线程获取数据后更新从库的中继日志Relay Log,然后从库的SQL线程读取中继日志中更新的数据库事件并应用,如下图所示:

技术分享


可以使用SHOW PROCESSLIST命令在主库和从库上分别执行,查看主库BINLOG DUMP线程和从库SQL线程状态:

----------------------在主库上-------------
mysql> show processlist\G
*************************** 3. row ***************************
     Id: 18
   User: repl
   Host: localhost:2275
     db: NULL
Command: Binlog Dump
   Time: 76
  State: Master has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL
3 rows in set (0.00 sec)
--------------------在从库上---------------
*************************** 2. row ***************************
     Id: 27
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 301
  State: Waiting for master to send event
   Info: NULL
*************************** 3. row ***************************
     Id: 28
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 246703
  State: Slave has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL

五、搭建复制环境

由于本人苦逼学生一枚,只有一台电脑,所以只能在一台电脑上开启多个MySQL服务,开启过程如下所示:

  1.停止mysql服务

  2.copy mysql安装目录到指定目录E:\,这里随意,不要和原目录重叠即可

  3.copy mysql data数据文件到E:\data

  4.copy一份my.ini文件到上面指定的目录下

  5.修改复制后的配置文件my.ini,内容如下:

  [client]

  port=3307 #第一个数据库的默认端口是3306 这里需要另外启用一个端口

  # The TCP/IP Port the MySQL Server will listen on

  port=3307

  # Path to installation directory. All paths are usually resolved relative to this.

  basedir="E:\MySQL\MySQL Server 5.5\"         #第二个数据库basedir

  # Path to the database root

  datadir="E:\MySQL\MySQL Server 5.5\data\"    #第二个数据库datadir

  6.创建新的mysql服务

  mysqld install MySQLSLAVE  --defaults-file="E:\MySQL\MySQL Server 5.5\my.ini"

  7.修改注册表,如下:

  KEY_LOCAL_MACHINE-->SYSTEM-->CurrentControlSet-->Services

  找到刚才创建的MySQLSLAVE,将ImagePath修改成如下":

  "E:\MySQL\MySQL Server 5.5\bin\mysqld" --defaults-file="E:\MySQL\data\my.ini" mysqlsalve

复制环境搭建过程如下:

  1.修改主数据库的配置文件my.ini,修改内容如下:

server-id=3306
#主从复制是通过二进制文件来进行,所以要开启日志功能
log-bin=mysql-bin
#主机,读写都可以
read-only=0
#需要备份数据,多个写多行
binlog-do-db=test
#不需要备份的数据库,多个写多行
binlog-ignore-db=mysql

  2.修改从数据库的配置文件my.ini,修改内容如下:

#主从配置
server-id=3307
log-bin=mysql-bin
#如果从服务器发现主服务器断掉,重新连接的时间差(秒)
#master-connect-retry=60
#只复制某个库
replicate-do-db=test
#不复制某个库
replicate-ignore-db=mysql

  3.保持主从的test库初始状态一致

mysql> flush tables with read lock;  
Query OK, 0 rows affected (0.05 sec)
---首先锁定表为读有效,防止数据库有更新操作,然后利用COPY/CP命令将数据文件目录复制到从库数据目录下
---或者直接关闭mysql服务,手动复制数据文件目录到指定目录下
---拷贝完后,恢复写操作

 mysql> unlock tables;
 Query OK, 0 rows affected (0.00 sec)

 

  4.在主库上创建一个专门用来复制的用户repl

mysql> GRANT REPLICATION SLAVE ON *.* TO REPL@127.0.0.1 IDENTIFIED BY 1234567;
Query OK, 0 rows affected (0.31 sec)

  5.重启主库,然后执行show master status,记下file和position字段对应的参数

mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000031 |      262 | test         | mysql            |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

  6、在从库设置它的master:

mysql> change master to master_host=127.0.0.1,master_port=3306,master_user=repl,master_password=asdf,master_log_file=mysql-bin.000031,master_log_pos=262;

Query OK, 0 rows affected (0.19 sec)
----这里的master_log_file和master_log_pos对应刚才show master status记下的参数。

  7.在从库上开启复制start slave

mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.00 sec)  --这里有个warning,是因为我已经开启了slave

  8.验证复制搭建是否成功

mysql> show processlist\G;
*************************** 2. row ***************************
     Id: 27
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 6349
  State: Waiting for master to send event
   Info: NULL
*************************** 3. row ***************************
     Id: 28
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 580
  State: Slave has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL
3 rows in set (0.00 sec)
----以上信息表名slave已经连上了master,并开始接收和执行日志---

  9.使用show slave status来查看slave信息

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 127.0.0.1
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000031
          Read_Master_Log_Pos: 262
               Relay_Log_File: Lenovo-PC-relay-bin.000059
                Relay_Log_Pos: 408
        Relay_Master_Log_File: mysql-bin.000031
             Slave_IO_Running: Yes  --I/O线程已开启
            Slave_SQL_Running: Yes --SQL线程也开启
              Replicate_Do_DB: test
          Replicate_Ignore_DB: mysql
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 262
              Relay_Log_Space: 714
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0  --I/O没有错误
                Last_IO_Error:
               Last_SQL_Errno: 0  --sql应用也没有错误
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 3306
1 row in set (0.00 sec)

  10.验证复制的正确性

-------在主库上的test库创建表cc------
mysql> create table cc (id int not null);
Query OK, 0 rows affected (0.10 sec)

mysql> insert into cc values (10),(20);
Query OK, 2 rows affected (0.00 sec)
Records: 2  Duplicates: 0  Warnings: 0
-------在从库上查看是否存在表cc-----
mysql> show tables like cc;
+---------------------+
| Tables_in_test (cc) |
+---------------------+
| cc                  |
+---------------------+
1 row in set (0.00 sec)

mysql> select *  from cc;
+----+
| id |
+----+
| 10 |
| 20 |
+----+
2 rows in set (0.00 sec)
------------说明复制搭建已经成功------

六、半同步复制

MySQL复制默认采用异步的同步机制,主库和从库的数据之间存在一定的延时,不能保证数据的一致性和及时性。因此有必要开启半同步复制,而半同步复制模式是由mysql插件来实现,主从库使用不同的插件(semisync_master.so/semisync_slave.so),安装插件如下所示。

检查mysql服务是否支持动态加载插件

mysql> show variables like %dynamic_loading%;
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| have_dynamic_loading | YES   |
+----------------------+-------+
1 row in set (0.00 sec)
----也可以直接执行select @@have_dynamic_loading

安装插件

mysql> install plugin  rpl_semi_sync_master soname semisync_master.dll;
ERROR 1125 (HY000): Function rpl_semi_sync_master already exists   --我已经安装了该插件

查看插件安装是否成功

mysql> select * from mysql.plugin;
+----------------------+---------------------+
| name                 | dl                  |
+----------------------+---------------------+
| rpl_semi_sync_master | semisync_master.dll |
+----------------------+---------------------+
1 row in set (0.03 sec)

从库也使用同样的方法安装semisync_slave插件

mysql> select * from mysql.plugin;
+---------------------+--------------------+
| name                | dl                 |
+---------------------+--------------------+
| rpl_semi_sync_slave | semisync_slave.dll |
+---------------------+--------------------+
1 row in set (0.00 sec)

打开半同步复制,因为mysql默认是关闭的

mysql> show variables like %semi_sync%;
+------------------------------------+-------+
| Variable_name                      | Value |
+------------------------------------+-------+
| rpl_semi_sync_master_enabled       | OFF   |
| rpl_semi_sync_master_timeout       | 10000 |
| rpl_semi_sync_master_trace_level   | 32    |
| rpl_semi_sync_master_wait_no_slave | ON    |
+------------------------------------+-------+
---------主库------
mysql> set global rpl_semi_sync_master_enabled=on;
Query OK, 0 rows affected (0.01 sec)
---------从库-------------
mysql> set global rpl_semi_sync_slave_enabled=on;
Query OK, 0 rows affected (0.00 sec)
----重启I/O线程
mysql> stop slave io_thread;
Query OK, 0 rows affected (0.01 sec)

mysql> start slave io_thread;
Query OK, 0 rows affected (0.00 sec)

半同步复制配置完毕后,查看半同步复制的状态信息,在主库上执行show global status like ‘%semi_sync%‘;

mysql> show global status like %semi_sync%;
+--------------------------------------------+-------+
| Variable_name                              | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients               | 1     |
| Rpl_semi_sync_master_net_avg_wait_time     | 0     |
| Rpl_semi_sync_master_net_wait_time         | 0     |
| Rpl_semi_sync_master_net_waits             | 0     |
| Rpl_semi_sync_master_no_times              | 0     |
| Rpl_semi_sync_master_no_tx                 | 0     | --表示不是通过半同步复制及时响应的事务数
| Rpl_semi_sync_master_status                | ON    | --表示当前半同步复制已经打开
| Rpl_semi_sync_master_timefunc_failures     | 0     |
| Rpl_semi_sync_master_tx_avg_wait_time      | 0     |
| Rpl_semi_sync_master_tx_wait_time          | 0     |
| Rpl_semi_sync_master_tx_waits              | 0     |
| Rpl_semi_sync_master_wait_pos_backtraverse | 0     |
| Rpl_semi_sync_master_wait_sessions         | 0     |
| Rpl_semi_sync_master_yes_tx                | 0     | --表示通过半同步模式复制到从库的事务数
+--------------------------------------------+-------+
14 rows in set (0.00 sec)

半同步同步还有一个超时时间,超过了这个时间,主库将关闭半同步复制模式,改为异步复制。如果这时从库重新连接主库,主库将自动切换到半同步复制模式。查看超时时间

mysql> show variables like %semi%time%;
+------------------------------+-------+
| Variable_name                | Value |
+------------------------------+-------+
| rpl_semi_sync_master_timeout | 10000 | --10s
+------------------------------+-------+
1 row in set (0.00 sec)

七、MySQL复制主要启动参数

1.master_host,master_port,master_user,master_password这些参数主要用来记录需要复制的主库的地址,端口,用户,密码等信息,就不具体介绍了。

2.log_slave_updates:用来指定从库的更新操作是否记录到二进制日志中去,如果要搭建的是主-主复制,则该参数必须指定为ON(set global log_slave_updates=on或在配置文件中永久启动)

3.read-only:用来限制普通用户对从库的更新操作,只接收超级用户的更新操作。

4.master_connect_retry:指定当和主库丢失连接时重试的时间间隔,默认为60。

5.replicate_do_db,replicate_ignore_db,replicate_do_table,replicate_ignore_table:这些参数用来指定复制的数据库或表,比如指定复制的表为replicate_do_table=test.cc,其他的表则不会复制。

6.slave_skip_errors:用来指定从库复制中可以跳过的错误号或跳过全部错误,slave_skip_errors=[err_code1,err_code2...|all]

7.master_delay:用来指定延时复制的时间隔间

八、复制的管理维护

1.查看从库状态

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 127.0.0.1
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000031
          Read_Master_Log_Pos: 736
               Relay_Log_File: Lenovo-PC-relay-bin.000060
                Relay_Log_Pos: 442
        Relay_Master_Log_File: mysql-bin.000031
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: test
          Replicate_Ignore_DB: mysql
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
----截取部分信息

2.主库和从库同步

-----在主库上执行-----
mysql> flush tables with read lock;
Query OK, 0 rows affected (0.00 sec)
-----在从库上执行-----
mysql> select master_pos_wait(mysql-bin.000031, 736);
+--------------------------------------------+
| master_pos_wait(mysql-bin.000031, 736) |
+--------------------------------------------+
|                                          0 |
+--------------------------------------------+
1 row in set (0.03 sec)
--master_pos_wait的参数值可以在主库执行show master status得到
--该select语句会阻塞到从库达到指定的日志文件的偏移量后,返回0,表示与主库同步了
--完了之后在主库上执行unlock tables

3.从库复制出现错误

在从库应用中继日志时,可能会出现一些错误,例如表结构不对,函数不存在等,如果是不太重要的错误,则可使用sql_slave_skip_counter变量来忽略更新失败的语句。示例如下:

mysql> stop slave;
Query OK, 0 rows affected (0.02 sec)

mysql> set global sql_slave_skip_counter=1;
----如果是autoincrement或last_insert_id()则为2

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

4.主-主复制时自增变量冲突的问题

主-主复制需要定制auto_increment_increnment和auto_increment_offset的值来避免重复冲突,这两个变量的值默认为1,这也是重复冲突的源头

mysql> show variables like auto_increment_%;
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| auto_increment_increment | 1     |
| auto_increment_offset    | 1     |
+--------------------------+-------+
2 rows in set (0.00 sec)

采用以下的设置可以避免重复

master1:auto_increment_increment=2,auto_increment_offset=1
master1:auto_increment_increment=2,auto_increment_offset=0

5.提高复制性能

方案一:采用一主多从的复制架构,利用replicate_do_db,replicate_ignore_db等参数使得不同的从库复制不同的库/表,降低每个从库的写入压力。

方案二:利用5.6版本的多线程并发复制,通过设置变量slave_parallel_workers来实现。

stop slave
set global slave_parallel_works=2;
start slave;
---或者在my.ini中天加slave_parallel_workers=2

6.主从切换

1.在每个从库上执行stop slave io_thread,停止接收日志,接着执行show processlist,如果state字段值为Has read all relay log,表示更新都应用完毕。

2.在需要提升为主库的从库上执行stop slave,reset slave和reset master,将从库重置成主库。

3.其他的从库执行都执行stop slave,然后执行change master to master_host=新的主库地址。

4.所有应用指向新的主库。

MySQL学习笔记十七:复制特性

标签:

原文地址:http://www.cnblogs.com/zmxmumu/p/4467589.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!