码迷，mamicode.com
首页 > 数据库 > 详细

[MySQL-MM] 生产环境自动恢复MM中一台M2库的过程，分享从零开始写的自动化重建脚本以及思路 （转)

时间：2016-08-09 11:59:18      阅读：311      评论：0      收藏：0      [点我收藏+]

标签：

必须是MM架构，而且一台主库M1是完好无损的，一台主库M2可以根据M1主库来进行重建；如果MS架构，自己可以稍微做一下脚本修改动作，也能使用，架构如下图所示：

技术分享



3  总体思路，建立主脚本a_build_rep.sh

思路分为13个步骤，如a_build_rep.sh脚本中的备注 

[python] view plain copy print?
  1. #!/bin/bash  
  2. set -x  
  3. set -e  
  4. set -u  
  5.   
  6. #（1）准备好目录以及全局变量  
  7. BACKUP_FOLDER=/mysqldata/shared/backup2  
  8. TEMP_SETUP_FOLDER=/tmp/sharding_setup_1  
  9. MYSQL_EXEC=/opt/mysql/product/mysql/bin/mysql  
  10.   
  11. #（2）设置参数，$1是要修复的M2库，$2是正在运行良好的M1库  
  12. db1=$2  
  13. db2=$1  
  14.   
  15.   
  16. #（3）在这里设置好一些所必用的环境变量，比如备份用户，备份用户密码，以及复制帐号密码，甚至一些super帐号  
  17.  BACKUP_USER="backupuser"  
  18.  BACKUP_PASSWORD="#xx$"  
  19.  AGENT_PASSWORD=‘#xx$‘  
  20.  REPLICATION_USER=replication  
  21.  REPLICATION_PASSWORD=‘#xx$‘  
  22.  REPLICA_PASSWORD=‘#xx$‘  
  23.  MONITOR_PASSWORD=‘#xx$‘  
  24.  WRITER_ETH=‘eth0‘  
  25.  SUPER_USER=backupuser  
  26.  SUPER_PASSWORD=‘#xx$‘  
  27.   
  28. #（4）由于磁盘空间所限，建立这些目录，如果目录已经存在，则清空这些目录。  
  29. ssh -t $db1 "rm -rf $TEMP_SETUP_FOLDER && mkdir -p $TEMP_SETUP_FOLDER && chmod 777 $TEMP_SETUP_FOLDER"  
  30. ssh -t $db2 "rm -rf $TEMP_SETUP_FOLDER && mkdir -p $TEMP_SETUP_FOLDER && chmod 777 $TEMP_SETUP_FOLDER"  
  31.   
  32.   
  33. #（5）将在线备份脚本 create_hot_backup.sh copy到即将要进行在线备份的M1库上面，并且调用此脚本进行在线备份，此备份用来去另一个M2库上进行恢复。  
  34. echo "Taking hotbackup on db1..."  
  35. scp create_hot_backup.sh $db1:$TEMP_SETUP_FOLDER/create_hot_backup.sh  
  36.   
  37.   
  38. ssh -t $db1 "sudo -u mysql mkdir -p $BACKUP_FOLDER"  
  39. ssh -t $db1 "sudo -i -u mysql $TEMP_SETUP_FOLDER/create_hot_backup.sh ‘$BACKUP_FOLDER‘ ‘$BACKUP_USER‘ ‘$BACKUP_PASSWORD‘ N Y"  
  40.   
  41. #（6）停止M2的MySQL服务  
  42. echo "Hotbackup completed. Now restore the hotbackup on db2..."  
  43. ssh -t $db2 "sudo /etc/init.d/mysql stop"  
  44. #（7）将restore_hot_backup.sh脚本copy到M2库上，并调用此脚本在M2库上面进行恢复操作。  
  45. scp restore_hot_backup.sh $db2:$TEMP_SETUP_FOLDER/restore_hot_backup.sh  
  46. ssh -t $db2 "sudo -i -u mysql $TEMP_SETUP_FOLDER/restore_hot_backup.sh ‘$BACKUP_FOLDER‘ ‘$BACKUP_USER‘ ‘$BACKUP_PASSWORD‘ ‘$TEMP_SETUP_FOLDER‘ Y"  
  47. #（8）恢复完，启动M2库。  
  48. ssh -t $db2 "sudo /etc/init.d/mysql start"  
  49. echo "Restore completed. Now rebuild replication between db1 and db2..."  
  50. #（9）建立M2上面的复制功能，M1为master，M2为slave；  
  51. echo "Setup replication from db1 to db2"  
  52. echo "Setup replication from db1 to db2"  
  53. scp $db2:$TEMP_SETUP_FOLDER/xtrabackup_binlog_info.master xtrabackup_binlog_info.db1  
  54. binlog_filename=`cat xtrabackup_binlog_info.db1 | awk ‘{print $1}‘`  
  55. binlog_pos=`cat xtrabackup_binlog_info.db1 | awk ‘{print $2}‘`  
  56. $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "SLAVE STOP;"  
  57. $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "CHANGE MASTER TO MASTER_HOST=‘$db1‘, MASTER_PORT=3306, MASTER_USER=‘replication‘, MASTER_PASSWORD=‘$REPLICATION_PASSWORD‘, MASTER_LOG_FILE=‘$binlog_filename‘, MASTER_LOG_POS=$binlog_pos;"  
  58. $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "SLAVE START;"  
  59.   
  60. #（10）Check M2库的复制功能状态，是否搭建成功  
  61. echo "Check db2 replication status."  
  62. if ! $MYSQL_EXEC -h$db2 -ummm_agent -p"$AGENT_PASSWORD" -e "SHOW SLAVE STATUS\G" | grep "Slave_SQL_Running: Yes"  
  63. then  
  64.     echo "[ERROR] Cannot start slave on db2!"  
  65.     exit -1  
  66. fi  
  67.   
  68. #（11）建立M1上面的复制功能，M2为master，M1为slave；  
  69. echo "Setup replication from db2 to db1"  
  70. ./build_replication.sh $db2 $db1  
  71.   
  72. #（12）Check M1库的复制功能状态，是否搭建成功  
  73. echo "Check db1 replication status."  
  74. if ! $MYSQL_EXEC -h$db1 -ummm_agent -p"$AGENT_PASSWORD" -e "SHOW SLAVE STATUS\G" | grep "Slave_SQL_Running: Yes"  
  75. then  
  76.     echo "[ERROR] Cannot start slave on db1!"  
  77.     exit -1  
  78. fi  
  79.   
  80. #（13）清除临时目录的备份文件，释放磁盘空间  
  81. echo "Clean up the shared storage folder and tmp folder."  
  82. ssh -t $db1 "rm -rf $TEMP_SETUP_FOLDER"  
  83. ssh -t $db2 "rm -rf $TEMP_SETUP_FOLDER"  
  84. ssh -t $db1 "sudo -u mysql rm -rf $BACKUP_FOLDER"  
  85.   
  86.   
  87. echo ‘Rebuild secondary done!‘  



4 分脚本（1），M1库上的在线备份脚本create_hot_backup.sh详情

[python] view plain copy print?
  1. #!/bin/bash  
  2. set -x  
  3. set -e  
  4.   
  5. # !!! This file need to be run in mysql !!!  
  6. #（1）设置一些基本参数，$1：备份文件；$2：备份用户名；$3：备份用户名密码；$4：是否需要安全模式备份； $5：是否需要rsync信息  
  7. BACKUP_FOLDER=$1  
  8. HOTBACKUP_USER=$2  
  9. HOTBACKUP_PASSWORD=$3  
  10. NEED_SAFE_SLAVE=$4  
  11. NEED_RSYNC=$5  
  12.   
  13. #（2）参数验证，如果需要，则在接下来的备份命令中加上--safe-slave-backup或者--rsync参数  
  14. INNOBACKUP_OPT=""  
  15. if [[ $NEED_SAFE_SLAVE == "Y" ]]  
  16. then  
  17.     INNOBACKUP_OPT=$INNOBACKUP_OPT" --safe-slave-backup"  
  18. fi  
  19.   
  20. if [[ $NEED_RSYNC == "Y" ]]  
  21. then  
  22.     INNOBACKUP_OPT=$INNOBACKUP_OPT" --rsync"  
  23. fi  
  24.   
  25. #（3）开始执行备份命令  
  26. echo "Run xtrabackup to take hotbackup..."  
  27. export MYSQL_HOME=/opt/mysql/product/mysql  
  28. innobackupex $INNOBACKUP_OPT --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD $BACKUP_FOLDER  




5 分脚本（2）restore_hot_backup.sh，在M2库上进行数据恢复操作。

[python] view plain copy print?
  1. #!/bin/bash  
  2. set -x  
  3. set -e  
  4.   
  5. #（1）$1：备份数据存放的目录；$2：恢复用户；$3：恢复用户密码； $4：临时文件夹目录； $5：是否需要resync；  
  6.   
  7. SHARED_STORAGE_PATH=$1  
  8. HOTBACKUP_USER=$2  
  9. HOTBACKUP_PASSWORD=$3  
  10. TEMP_SETUP_FOLDER=$4  
  11. NEED_RSYNC=$5  
  12.   
  13. #（2）是否需要加上resync参数  
  14. INNOBACKUP_OPT=""  
  15. if [[ $NEED_RSYNC == "Y" ]]  
  16. then  
  17.     INNOBACKUP_OPT="--rsync"  
  18. fi  
  19.   
  20. #（3）把MYSQL_HOME放入环境变量中  
  21. export MYSQL_HOME=/opt/mysql/product/mysql  
  22.   
  23. #（4）如果目录存在的话，删除这些数据库目录下的旧文件  
  24. echo "Delete existing mysql instance..."  
  25. rm -rf /mysqldata/data  
  26. rm -rf /mysqldata/shared/restore  
  27. rm -rf /mysqldata/binlog/*  
  28. rm -rf /mysqldata/iblogs/*  
  29.   
  30. #（5）开始准备数据目录以及备份数据目录，如今不存在就新建，并且赋予linux系统帐号mysql的操作权限。  
  31. echo "Apply and copy back backup files..."  
  32. mkdir -p /mysqldata/data && chown -R mysql:mysql /mysqldata/data && chmod 700 /mysqldata/data  
  33. mkdir -p /mysqldata/shared/restore  
  34. backup_folder=$(ls -1 $SHARED_STORAGE_PATH | sort -rn | head -n1) #这个ls的找最新生成的文件的命令很实用，可以借鉴。  
  35. # （6）如果为了安全起见可以备份文件数据目录copy到指定的恢复临时目录，然后在临时目录进行--apply-log以及--copy-back等操 作，但是我为了效率，就去掉了copy的时间（copy时间大概需要1小时左右），直接在原来的备份数据目录进行--apply-log以及 --copy-back操作  
  36.   
  37. # cp -r $SHARED_STORAGE_PATH/${backup_folder}/* /mysqldata/shared/restore/  
  38. # innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD --ibbackup xtrabackup --apply-log /mysqldata/shared/restore/  
  39. # innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD $INNOBACKUP_OPT --copy-back /mysqldata/shared/restore/  
  40.   
  41. innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD --ibbackup xtrabackup --apply-log $SHARED_STORAGE_PATH/${backup_folder}/  
  42. innobackupex --user=$HOTBACKUP_USER --password=$HOTBACKUP_PASSWORD $INNOBACKUP_OPT --copy-back $SHARED_STORAGE_PATH/${backup_folder}/  
  43.   
  44. #（7）将原来的备份中的复制点信息copy到临时目录下，并赋予对copy后的文件赋予相应的权限。  
  45. cp -f $SHARED_STORAGE_PATH/${backup_folder}/xtrabackup_binlog_info $TEMP_SETUP_FOLDER/xtrabackup_binlog_info.master  
  46. chmod 644 $TEMP_SETUP_FOLDER/xtrabackup_binlog_info.master  
  47.   
  48. #（8）恢复成功后，删除原来的临时目录的备份数据，释放磁盘空间，如果你磁盘空间足够，这一步可以省略。  
  49. echo "Remove backup files..."  
  50. rm -rf $SHARED_STORAGE_PATH/${backup_folder}/  


6 搭建M1上面的复制，M2为master，M1为slave，MM架构。

[python] view plain copy print?
  1. #!/bin/sh  
  2. set -x  
  3. set -u  
  4. set -e  
  5. #（1）$1：master主库服务器主机名或者IP地址； $2：slave主库服务器主机名或者IP地址；  
  6. MASTER_SERVER=$1  
  7. SLAVE_SERVER=$2  
  8.   
  9. MYSQL_CNF_DIR=‘/opt/mysql/product/mysql/etc‘  
  10. MYSQL_EXEC=‘/opt/mysql/product/mysql/bin/mysql‘  
  11.   
  12. #（2）从$1主库上面获取复制点信息  
  13. master_file=$(ssh -t $MASTER_SERVER "$MYSQL_EXEC -u$SUPER_USER -p$SUPER_PASSWORD -e ‘SHOW MASTER STATUS\G‘" | grep "File" | awk ‘{print $2}‘)  
  14. master_file=$(sed -e ‘s/[\r\n]//‘ <<<"$master_file")  
  15. master_pos=$(ssh -t $MASTER_SERVER "$MYSQL_EXEC -u$SUPER_USER -p$SUPER_PASSWORD -e ‘SHOW MASTER STATUS\G‘" | grep "Position" | awk ‘{print $2}‘)  
  16. master_pos=$(sed -e ‘s/[\r\n]//‘ <<<"$master_pos")  
  17.   
  18. #（3）执行搭建复制sql命令操作：  
  19. ssh -t $SLAVE_SERVER "$MYSQL_EXEC -u$SUPER_USER -p$SUPER_PASSWORD -e \"  
  20. STOP SLAVE;  
  21. RESET SLAVE;  
  22. CHANGE MASTER TO master_host=‘$MASTER_SERVER‘, master_port=3306, master_user=‘$REPLICATION_USER‘,  
  23.     master_password=‘$REPLICATION_PASSWORD‘, master_log_file=‘$master_file‘, master_log_pos=$master_pos;  
  24. START SLAVE;  
  25. \""  




7  执行操作

在根目录下，执行 

[root@xx-control xx]# nohup /home/cc/a_build_rep.sh m2.xx.com m1-.xx.com .  >  rebuild.log &，放在后台执行，使用nohup以防止屏幕突然失效。

然后用 tail -f rebuild.log 查看进展：

[python] view plain copy print?
    1. [root@xx-control xx]# tail -f rebuild.log  
    2. + set -e  
    3. + BACKUP_FOLDER=/mysqldata/shared/backup  
    4. Run xtrabackup to take hotbackup...  
    5. + HOTBACKUP_USER=backupuser  
    6. + HOTBACKUP_PASSWORD=‘#xxx$‘  
    7. + NEED_SAFE_SLAVE=N  
    8. + NEED_RSYNC=Y  
    9. + INNOBACKUP_OPT=  
    10. + [[ N == \Y ]]  
    11. + [[ Y == \Y ]]  
    12. + INNOBACKUP_OPT=‘ --rsync‘  
    13. + echo ‘Run xtrabackup to take hotbackup...‘  
    14. + export MYSQL_HOME=/opt/mysql/product/mysql  
    15. + MYSQL_HOME=/opt/mysql/product/mysql  
    16. + innobackupex --rsync --user=user‘--password=#xxx$‘ /mysqldata/shared/backup  
    17. .................................................................................  
    18. ................................................................................  
    19. Rebuild secondary done! 

[MySQL-MM] 生产环境自动恢复MM中一台M2库的过程，分享从零开始写的自动化重建脚本以及思路 （转)

标签：

原文地址：http://www.cnblogs.com/moss_tan_jun/p/5752489.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！