Mysql备份的三种方法

标签：备份恢复、mysql、xtrabackup、二进制日志

Mysql备份的主要作用是当出现硬件故障、软件故障、自然灾害、黑客攻击、人为误操作时能快速、高效、安全的解决问题，以免造成不必要的损失

Mysql备份时需要备份什么？

  1、需要用到的数据

  2、二进制日志、InnoDB事务日志

  3、存储代码；例如：存储过程、存储函数、触发器、时间调度器

  4、服务器的配置文件

Mysql备份时需要注意的要点：

  1、能容忍最多丢失多少数据

  2、恢复数据需要在多长时间内完成

  3、需要恢复那些数据

  4、做好备份之后，必须要做还原测试，用于测试备份的可用性

Mysql备份时需要考虑的因素

  1、持锁需要多长时间

  2、备份的过程时长

  3、在备份时，是否会增加系统业务的负载

  4、恢复过程的时长

Mysql备份的类型；

  以数据集角度来划分：

    完全备份：备份整个数据集

    部分备份：只备份数据子集

  以时间轴角度来划分：

    完全备份：备份整个数据集

    增量备份：备份最近一次完全备份或增量备份之后变化的数据

    差异备份：备份最近一次完全备份之后变化的数据

    注意：虽然增量备份比差异备份更节约磁盘空间，但是还原数据起来增量备份却比差异备份更麻烦

  根据服务器业务系统能否在线来划分：

    热备份：读写操作均可执行

    温备份：读操作可执行，但写操作不可执行

    冷备份：读写操作均不可执行

    注意：InnoDB存储引擎即支持热备份，也支持温备份；而MyISAM存储引擎只支持温备份，不支持热备份

  物理备份：直接复制数据文件进行备份

  逻辑备份：从数据库中导出数据从而进行备份；逻辑备份与存储引擎无关，如果备份的是InnoDB存储引擎，用在MyISAM存储引擎上也是可以的

Mysql备份的方式：

  1、mysqldump+复制binlog来实现：使用mysqldump来实现数据的完全备份，复制binlog中指定时间范围内的event来实现增量备份

  2、lvm2+复制binlog：利用lvm2快照以及使用cp等命令工具来实现物理备份、完全备份，复制binlog中指点事件范围内的event来实现增量备份

  3、xtrabackup：由Percona提供的备份工具；对InnoDB支持热备、完全备份和增量备份，MySIAM支持温备、完全备份

一、基于mysqldump+复制binlog来实现备份

准备环境：

1、部署节点1

（1）安装mysql服务，编辑其二进制文件并进行完全备份

[root@localhost ~]# yum install mysql-server -y  ##安装Mysql服务
[root@localhost ~]# vim /etc/my.cnf  ##编辑其配置文件
[mysqld]
innodb_file_per_table = ON
log_bin=mysql-bin   ##启用二进制文件
[root@localhost ~]# mysqldump -uroot --lock-tables --master-data=2 --databases Mydata > db1.sql   ##在未修改数据库之前做一次完全备份
## --lock-tables：锁定指定的数据库，建议在备份单个数据库是使用
## --lock-all-tables：锁定所有的数据库，建议在备份多个数据库时使用
## --master-data=1 | 2
  #1：记录为change master to语句，此语句不会被注释
  #2：记录为change master to语句，此语句会被注释 
## --databases：指定需要备份的数据库，当有多个数据库时中间可用空格隔开
[root@localhost ~]# less db1.sql 
-- CHANGE MASTER TO MASTER_LOG_FILE=‘mysql-bin.000003‘, MASTER_LOG_POS=1106;  ##记录当前备份时的二进制日志，以及事件在二进制日志中所在位置

（2）修改数据库中的数据，并使用“mysqlbinlog”生成增量备份

mysql> select * from db1;   ##未修改数据之前查看一次数据
+----+------------+------+
| ID | Name     Age  
+----+------------+------+
|  1 | BaiGu jing  100 
|  2 | SunDa shen  200
|  3 | ZhuBa jie  150 
+----+------------+------+
mysql> insert into db1 (ID,Name,Age) values (4,‘RuLai‘,999);
mysql> insert into db1 (ID,Name,Age) values (5,‘YuDi‘,888);
mysql> select * from db1;   ##修改数据之后查看一次
+----+------------+------+
| ID | Name     Age  
+----+------------+------+
|  1 | BaiGu jing  100 
|  2 | SunDa shen  200 
|  3 | ZhuBa jie   150 
|  4 | RuLai     999 
|  5 | YuDi      888 
+----+------------+------+
[root@localhost ~]# mysqlbinlog -uroot --start-position=1106 /var/lib/mysql/mysql-bin.000003 > binary_log  ##生成增量备份
##--start-position：指明事件的pos
[root@localhost ~]# less binary_log   ##查看增量备份文件
insert into db1 (ID,Name,Age) values (4,‘RuLai‘,999)   ##记录了修改表的相关操作
/*!*/;
# at 1223
#160612 21:44:35 server id 1  end_log_pos 1339  Query   thread_id=9     exec_time=0     error_code=0
SET TIMESTAMP=1465739075/*!*/;
insert into db1 (ID,Name,Age) values (5,‘YuDi‘,888)
/*!*/;
# at 1339
#160612 21:45:41 server id 1  end_log_pos 1441  Query   thread_id=9     exec_time=0     error_code=0
SET TIMESTAMP=1465739141/*!*/;

2、部署节点2

（1）提供mysql服务，并将节点1的完全备份文件“db1.sql”和增量备份文件“binary_log”发送给节点2

[root@localhost ~]# yum install mysql-server -y
[root@localhost ~]# scp db1.sql binary_log root@172.18.42.111:/root

（2）节点2导入“db1.sql"，并查看其数据

[root@localhost ~]# mysql < db1.sql 
mysql> select * from db1;
+----+------------+------+
| ID | Name     Age
+----+------------+------+
|  1 | BaiGu jing  100 
|  2 | SunDa shen  200 
|  3 | ZhuBa jie  150 
+----+------------+------+
##数据并不是我们修改之后的数据

（3）假设节点1挂掉了，需要让节点2恢复到节点1当前修改数据库时的数据，此时我们只需要节点2导入“binary_log”增量备份文件即可

[root@localhost ~]# mysql < binary_log 
mysql> select * from db1;    ##导入增量备份之后，节点2的数据和节点1修改数据库之后的数据一样
+----+------------+------+
| ID | Name     Age  
+----+------------+------+
|  1 | BaiGu jing  100 
|  2 | SunDa shen  200 
|  3 | ZhuBa jie  150 
|  4 | RuLai     999 
|  5 | YuDi     888 
+----+------------+------+

二：基于lvm2+复制binlog来实现备份

准备环境：

1、部署节点1

（1）安装mysql服务，滚动日志并记录

[root@localhost ~]# yum install mysql-server -y
[root@localhost ~]# service mysqld start
[root@localhost ~]# mysql -e "show master status" > binary_file   ##对于如何开启二进制日志小白我就不再说了
[root@localhost ~]# cat binary_file 
File    Position    Binlog_Do_DB    Binlog_Ignore_DB
mysql-bin.000004    208     ##记录了当前使用的二进制日志以及事件所在二进制日志中的pos
[root@localhost ~]# service mysqld stop  ##记录完日志之后把mysql服务关闭

（2）创建lvm快照，并挂载

[root@localhost ~]# pvcreate /dev/sda5   ##创建物理卷
  Physical volume "/dev/sda5" successfully created
[root@localhost ~]# vgcreate wxpp /dev/sda5   ##创建卷组，名为“wxpp”
  Volume group "wxpp" successfully created
[root@localhost ~]# lvcreate -L +5G -n wxxp1 wxpp  ##创建逻辑卷，大小为5G，名为“wxpp1”
  Logical volume "wxxp1" created.
[root@localhost ~]# mke2fs -t ext4 /dev/wxpp/wxxp1  ##将逻辑卷格式化为“ext4”的文件系统
[root@localhost ~]# mount /dev/wxpp/wxxp1 /data/   ##将逻辑卷挂载至“/data”目录下
[root@localhost ~]# mkdir /data/mysql   ##创建mysql数据库存储数据的目录，注意：此路径一定要和配置文件里的“datadir”指向的路径相同
[root@localhost ~]# chown mysql.mysql /data/mysql   ##让mysql用户具有存储数据的权限
[root@localhost ~]# ll /data/
drwxr-xr-x 2 mysql mysql 4096 Jun 12 22:20 /data/mysql
drwx------ 2 root  root  16384 Jun 12 22:18 lost+found
[root@localhost ~]# service mysqld start   ##启动mysql服务
[root@localhost ~]# ll /data/mysql/   ##生成了大量的日志文件
total 21272
-rw-rw---- 1 mysql mysql 10485760 Jun 12 22:28 ibdata1
-rw-rw---- 1 mysql mysql  5242880 Jun 12 22:28 ib_logfile0
-rw-rw---- 1 mysql mysql  5242880 Jun 12 22:24 ib_logfile1
drwx------ 2 mysql mysql     4096 Jun 12 22:25 Mydata
drwx------ 2 mysql mysql     4096 Jun 12 22:24 mysql
-rw-rw---- 1 mysql mysql    19758 Jun 12 22:24 mysql-bin.000001
-rw-rw---- 1 mysql mysql   765307 Jun 12 22:24 mysql-bin.000002
-rw-rw---- 1 mysql mysql     1190 Jun 12 22:28 mysql-bin.000003
-rw-rw---- 1 mysql mysql      106 Jun 12 22:28 mysql-bin.000004
-rw-rw---- 1 mysql mysql       76 Jun 12 22:28 mysql-bin.index
drwx------ 2 mysql mysql     4096 Jun 12 22:24 test
mysql> flush tables with read lock;   ##给数据施加读锁，防止数据改变
[root@localhost ~]# lvcreate -L +1G -s -n binary_log /dev/wxpp/wxxp1  ##创建lvm快照，大小为1G，名为“binary_log”
[root@localhost ~]# mount /dev/wxpp/binary_log /mnt/   ##将快照挂载至“/mnt”目录下
[root@localhost ~]# ll /mnt/mysql/  
total 21272
-rw-rw---- 1 mysql mysql 10485760 Jun 12 22:28 ibdata1
-rw-rw---- 1 mysql mysql  5242880 Jun 12 22:28 ib_logfile0
-rw-rw---- 1 mysql mysql  5242880 Jun 12 22:24 ib_logfile1
drwx------ 2 mysql mysql     4096 Jun 12 22:25 Mydata
drwx------ 2 mysql mysql     4096 Jun 12 22:24 mysql
-rw-rw---- 1 mysql mysql    19758 Jun 12 22:24 mysql-bin.000001
-rw-rw---- 1 mysql mysql   765307 Jun 12 22:24 mysql-bin.000002
-rw-rw---- 1 mysql mysql     1190 Jun 12 22:28 mysql-bin.000003
-rw-rw---- 1 mysql mysql      106 Jun 12 22:28 mysql-bin.000004
-rw-rw---- 1 mysql mysql       76 Jun 12 22:28 mysql-bin.index
drwx------ 2 mysql mysql     4096 Jun 12 22:24 test
mysql> unlock tables;  ##释放写锁

（3）生成增量备份

mysql> select * from db1;  ##未修改前查看一次数据
+----+-------+------+
| ID | Name     Age  
+----+-------+------+
|  1 | MaGe   100 
|  2 | Lweim    200 
|  3 | Wzx    300 
|  4 | wxpp   400 
+----+-------+------+
mysql> delete from db1 where ID=1;
mysql> select * from db1;
+----+-------+------+
| ID | Name  Age  
+----+-------+------+
|  2 | Lweim  200 
|  3 | Wzx   300 
|  4 | wxpp   400 
+----+-------+------+
[root@localhost ~]# mysqlbinlog --start-position=208 /data/mysql/mysql-bin.000004 > backup.sql   ##生成增量备份文件

2、部署节点2

（1）将节点1快照下“/mnt/mysql“目录下的文件以及增量备份文件发送给节点2；

[root@localhost ~]# scp -r /mnt/mysql/*  backup.sql root@172.18.42.111:/data/mysql/
[root@localhost ~]# chown -R mysql.mysql /data/mysql/  ##将权限更改为“mysql”
[root@localhost ~]# ll /data/mysql/
total 21272
-rw-r----- 1 mysql mysql 10485760 May  9 22:33 ibdata1
-rw-r----- 1 mysql mysql  5242880 May  9 22:33 ib_logfile0
-rw-r----- 1 mysql mysql  5242880 May  9 22:33 ib_logfile1
drwx------ 2 mysql mysql     4096 May  9 22:33 Mydata
drwx------ 2 mysql mysql     4096 May  9 22:33 mysql
-rw-r----- 1 mysql mysql    19758 May  9 22:33 mysql-bin.000001
-rw-r----- 1 mysql mysql   765307 May  9 22:33 mysql-bin.000002
-rw-r----- 1 mysql mysql     1190 May  9 22:33 mysql-bin.000003
-rw-r----- 1 mysql mysql      208 May  9 22:33 mysql-bin.000004
-rw-r----- 1 mysql mysql       76 May  9 22:33 mysql-bin.index
drwx------ 2 mysql mysql     4096 May  9 22:33 test

（2）启动mysql服务，并查看其数据库

[root@localhost ~]# service mysqld start
mysql> select * from db1;    ##并不是修改之后的数据
+----+-------+------+
| ID | Name   Age  
+----+-------+------+
|  1 | MaGe   100 
|  2 | Lweim  200 
|  3 | Wzx   300 
|  4 | wxpp  400 
+----+-------+------+

（3）假设节点1因为人为误操作导致数据库崩了，此时让节点二导入增量备份“backup.sql”即可

[root@localhost ~]# mysql < backup.sql 
mysql> select * from db1;
+----+-------+------+
| ID | Name    Age  
+----+-------+------+
|  2 | Lweim  200 
|  3 | Wzx   300 
|  4 | wxpp   400 
+----+-------+------+

（4）移除lvm快照

[root@localhost ~]# umount /mnt
[root@localhost ~]# lvremove /dev/wxpp/binary_log 
 Logical volume "binary_log" successfully removed

  当有大量数据库需要复制时，此时使用快照是最快、最有效的方式，防止对数据库施加过长时间的读锁，以免造成不必要的损失

三、基于xtrabackup命令工具来实现备份恢复

准备环境

1、部署节点1

（1）安装“xtrabackup”工具

[root@node0 ~]# yum install percona-xtrabackup-2.3.2-1.el7.x86_64.rpm -y  ##下载rpm包之后安装
[root@node0 ~]# rpm -ql percona-xtrabackup    ##查看percona-xtrabackup生成的文件
/usr/bin/innobackupex   ##我们主要使用这个命令
/usr/bin/xbcloud
/usr/bin/xbcloud_osenv
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup
/usr/share/doc/percona-xtrabackup-2.3.2
/usr/share/doc/percona-xtrabackup-2.3.2/COPYING
/usr/share/man/man1/innobackupex.1.gz
/usr/share/man/man1/xbcrypt.1.gz
/usr/share/man/man1/xbstream.1.gz
/usr/share/man/man1/xtrabackup.1.gz

（2）首先确保存储引擎为innodb，且“innodb_file_per_table”为ON状态

MariaDB [Mydata]> show table status\G;
Name: db1
Engine: InnoDB
MariaDB [Mydata]> show global variables like "%innodb%";
innodb_file_per_table    ON   ##确保每个表使用单独的表空间，如果不指明，则所有数据库中的所有表将放在同一空间下

（3）实现整个数据库备份

[root@node0 ~]# innobackupex --user=root /backup/  ##对整个数据库做一次备份，放在“/backup”目录下；注意：如果登录mysql需要密码，则需要指明密码
[root@node0 ~]# ll /backup/2016-04-20_10-34-41/
total 18460
-rw-r----- 1 root root      385 Apr 20 10:34 backup-my.cnf
-rw-r----- 1 root root 18874368 Apr 20 10:34 ibdata1
drwx------ 2 root root       47 Apr 20 10:34 Mydata
drwx------ 2 root root     4096 Apr 20 10:34 mysql
drwx------ 2 root root     4096 Apr 20 10:34 performance_schema
drwx------ 2 root root       19 Apr 20 10:34 test
-rw-r----- 1 root root       21 Apr 20 10:34 xtrabackup_binlog_info
-rw-r----- 1 root root      113 Apr 20 10:34 xtrabackup_checkpoints
-rw-r----- 1 root root      457 Apr 20 10:34 xtrabackup_info
-rw-r----- 1 root root     2560 Apr 20 10:34 xtrabackup_logfile

（4）修改数据，生成增量备份

MariaDB [Mydata]> select * from db1;  ##未修改数据之前查看一次
+------+
| id   
+------+
|  1 
|  2 
|  3 
+------+
MariaDB [Mydata]> insert into db1 values (100),(200);   ##插入两个“ID”
MariaDB [Mydata]> select * from db1;
+------+
| id   
+------+
|  1 
|  2 
|  3 
|  100 
|  200 
+------+
[root@node0 ~]# innobackupex --incremental /backup --incremental-basedir=/backup/2016-04-20_10-34-41/   ##生成增量备份
##--incremental：把增量备份存储在哪个路径下
##--incremental-basedir：基于谁来做增量备份
[root@node0 ~]# ll /backup/
drwx------ 6 root root 4096 Apr 20 10:34 2016-04-20_10-34-41   ##完全备份文件
drwx------ 6 root root 4096 Apr 20 10:41 2016-04-20_10-41-42   ##增量备份文件

（5）对完全备份数据做出整理，并把增量备份导入到完全备份中

[root@node0 ~]# innobackupex --apply-log --redo-only /backup/2016-04-20_10-34-41/   ##对增量备份做出整理
[root@node0 ~]# innobackupex --apply-log --redo-only /backup/2016-04-20_10-34-41/ --increment-dir=/backup/2016-04-20_10-41-42  ##将增量备份导入到完全备份中

2、部署节点2

（1）安装xtrabackup工具

[root@node0 ~]# yum install percona-xtrabackup-2.3.2-1.el7.x86_64.rpm -y

（2）将节点1上已经导入增量备份的完全备份目录发送给节点2，如果节点1挂了，我们可以基于导入增量备份的完全备份来恢复

[root@node0 ~]# scp -r /backup/2016-04-20_10-34-41/ root@172.18.42.201:/root
[root@node1 ~]# innobackupex --copy-back 2016-04-20_10-34-41/   ##导出数据
[root@node1 ~]# chown -R mysql.mysql /data/   ##更改权限为mysql
[root@node1 ~]# ll /data/mysql/
total 18448
drwx------ 2 root root        6 Apr 20 11:02 2016-04-20_10-34-41
-rw-r----- 1 root root 18874368 Apr 20 11:02 ibdata1
drwx------ 2 root root       47 Apr 20 11:02 Mydata
drwx------ 2 root root     4096 Apr 20 11:02 mysql
drwx------ 2 root root     4096 Apr 20 11:02 performance_schema
drwx------ 2 root root       19 Apr 20 11:02 test
-rw-r----- 1 root root       23 Apr 20 11:02 xtrabackup_binlog_pos_innodb
-rw-r----- 1 root root      457 Apr 20 11:02 xtrabackup_info
[root@node1 ~]# systemctl start mariadb.service
MariaDB [Mydata]> select * from db1;
+------+
| id   
+------+
|  1 
|  2 
|  3 
|  100 
|  200 
+------+

问题小结：

1、当使用mysqldump+复制binlog方法时，最好不要将数据文件和二进制文件放在同一磁盘上，且需要对二进制文件作出备份

2、使用lvm2+复制binlog方法时，在创建快照的同时，最好对数据库施加读锁，以免数据发生改变，同时要确保文件的属主、属组为mysql

3、在使用xtrabackup方法时，整个过程中mysql存储数据的目录必须要和配置文件里面的“datadir”“相同，同时要确保文件的属主、属组为mysql

本文出自 “wtc” 博客，请务必保留此出处http://wangtianci.blog.51cto.com/11265133/1788636

Mysql备份的三种方法

标签：备份恢复、mysql、xtrabackup、二进制日志

原文地址：http://wangtianci.blog.51cto.com/11265133/1788636