基于Xtrabackup进行MySQL数据库备份

标签：xtrabackup

一、Xtrabackup备份恢复原理

备份innodb表时，xtrabackup若干个线程拷贝独立表空间的.ibd文件，并不停监视此过程中redo log的变化，添加到自己的事务日志文件（xtrabackup_logfile）中。在此过程中，发生的物理写操作越多，xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段，xtrabackup采用类似于innodb崩溃恢复的方法，把数据文件恢复到与日志文件一致的状态，并把未提交的事务回滚。如果同时需要备份myisam表以及innodb表结构等文件，那么就需要用flush tables with lock来获得全局锁，开始拷贝这些不再变化的文件，同时获得binlog位置，拷贝结束后释放锁，也停止对redo log的监视。
 
很多同学对上面的理解有混淆，以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题，他应该会重新读取（应该也有重试次数，超过后备份不成功）。
 
其实这个原理很简单，了解下doublewrite就可以理解了“本段摘录自《MySQL技术内幕：InnoDB存储引擎》”：
如果说插入缓冲带给InnoDB存储引擎的是性能，那么两次写带给InnoDB存储引擎的是数据的可靠性。当数据库宕机时，可能发生数据库正在写一个页面，而这个页只写了一部分（比如16K的页，只写前4K的页）的情况，我们称之为部分写失效（partial page write）。在InnoDB存储引擎未使用double write技术前，曾出现过因为部分写失效而导致数据丢失的情况。

有人也许会想，如果发生写失效，可以通过重做日志进行恢复。这是一个办法。但是必须清楚的是，重做日志中记录的是对页的物理操作，如偏移量800，写“aaaa”记录。如果这个页本身已经损坏，再对其进行重做是没有意义的。这就是说，在应用（apply）重做日志前，我们需要一个页的副本，当写入失效发生时，先通过页的副本来还原该页，再进行重做，这就是doublewrite。

二、备份脚本

#!/bin/sh
#======================================================================================== 
## 备份工具：
##    percona-xtrabackup-2.2.6
##
## 备份策略：
##    1、每天凌晨4点进行全量备份一次；
##    2、每隔一小时增量备份一次；
##
#======================================================================================== 
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin
 
## DB备份基路径
BACKUP_BASE_DIR="/data/mysql_backup"
 
## 增量备份时，用到的基准目录列表文件
## 内容格式：基准目录|本次备份目录|备份类型【full|inc】
INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"
 
## 备份工具路径
XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"
 
## MySQL配置路径
MYSQL_CNF_PATH="/etc/my.cnf"
 
## 线程数
THREAD_CNT=6
 
#======================================================================================== 
function print_help_info()
{
   echo "--------------------------------------------------------------"
   echo "Usage: $0 full | inc | help"
   echo "--------------------------------------------------------------"
   echo ""
   exit 1
}
 
[[ $# -lt 1 ]] && print_help_info
[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}
 
## 只允许一个副本运行，以避免全量备份与增量备份出现交叉，发生数据错乱的可能性
[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1
 
CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
 
#======================================================================================== 
## 全量备份
if [[ "$1" == "full" ]]; then
   ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
   echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
 
## 增量备份
elif [[ "$1" == "inc" ]]; then
   ## 基准目录列表文件不存在或者为空的情况，需要做一次全量备份
   if [[ ! -f ${INC_BASE_LIST} || `sed ‘/^$/d‘ ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
      echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
 
   ## 不存在任何目录的情况，需要做一次全量备份，以避免增量备份失败
   elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
      echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
 
   ## 在上一次备份的基础上，进行增量备份
   else
      PREV_BACKUP_DIR=`sed ‘/^$/d‘ ${INC_BASE_LIST} | tail -1  | awk -F ‘|‘ ‘{print $2}‘`
      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
      echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
   fi
 
elif [[ "$1" == "help" ]]; then
   print_help_info
 
else
   print_help_info
fi
 
## 删除2周前的数据备份
DELETE_FLAG=`date -d "14 days ago" +"%F"`
cd ${BACKUP_BASE_DIR} && rm -rf ${DELETE_FLAG}_*
sed -i "/${DELETE_FLAG}/d" ${INC_BASE_LIST}
 
#======================================================================================== 
##The End
 
######################################################################################### 
## 需要添加的crontab信息：
##     (1)、全量备份
##     00 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
##
##     (2)、增量备份
##     00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
##
######################################################################################### 
 
######################################################################################### 
## DB数据恢复步骤：
##    (1)、应用基准
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
##
##    (2)、应用第一个增量备份
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
##
##    (3)、应用第二个增量备份
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
##
##    (4)、再次应用基准
##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
##
##    (5)、恢复
##    innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
#########################################################################################

三、效果展示

本文出自 “人生理想在于坚持不懈” 博客，请务必保留此出处http://sofar.blog.51cto.com/353572/1584366

基于Xtrabackup进行MySQL数据库备份

标签：xtrabackup

原文地址：http://sofar.blog.51cto.com/353572/1584366