标签：mysql二进制日志详解及备份恢复、基于mysqldump及lvmsnapshot做备份恢复详解
二进制日志：
时间点恢复
复制
20140411
回顾：
日志文件：6类
一般查询日志：log, general_log, log_output
慢查询日志：
错误日志
二进制日志
中继日志
事务日志
二进制日志：“修改”
position：位置
time: 时间
滚动：
1、大小
2、时间
二进制日志的功用：
即时点恢复；
复制；
mysql> SHOW MASTER STATUS; mysql> FLUSH LOGS; mysql> SHOW BINARY LOGS; mysql> SHOW BINLOG EVENTS IN ‘log_file‘; # mysqlbinlog --start-time --stop-time --start-position --stop-position
server-id: 服务器身份标识
INSERT INTO t1 VALUE (CURRENT_DATE());
MySQL记录二进制日志的格式：
基于语句：statement
基于行：row
混合模式：mixed
[root@pc0003 ~]# cd /mydata/data/ [root@pc0003 data]# file mysql-bin.000001 mysql-bin.000001: MySQL replication log [root@pc0003 data]# mysqlbinlog mysql-bin.000001
【查看当前使用的二进制文件，下一个空间的开始】每次重启都会变一次
mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000006 | 107 | | | +------------------+----------+--------------+------------------+
【查看属于自己管理的日志】
mysql> show binary logs; +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000001 | 126 | | mysql-bin.000002 | 4133 | | mysql-bin.000003 | 9086 | | mysql-bin.000004 | 126 | | mysql-bin.000005 | 1021 | | mysql-bin.000006 | 107 | +------------------+-----------+ 6 rows in set (0.03 sec)
二进制日志文件内容格式：
事件发生的日期和时间
服务器ID
事件的结束位置
事件的类型
原服务器生成此事件时的线程ID
语句的时间戳和写入二进制日志文件的时间差；
错误代码；
事件内容
事件位置，相当于下一事件的开始位置
服务器参数：
log_bin = {ON|OFF}, 还可以是个文件路径
log_bin_trust_function_creators
sql_log_bin = {ON|OFF}
sync_binlog
binlog_format = {statement|row|mixed}
max_binlog_cache_size =
二进制日志缓冲空间大小，仅用于缓冲事务类的语句；
max_binlog_stmt_cache_size =
max_binlog_size =
二进制日志文件上限
建议：切勿将二进制日志与数据文件放在一同设备；
【设置binlog的路径】
[root@pc0003 data]# vim /etc/my.cnf log-bin=/mydata/binlog/master-bin [root@pc0003 ~]# mkdir -pv /mydata/binlog/ mkdir: 已创建目录 "/mydata/binlog/" [root@pc0003 ~]# chown -R mysql:mysql /mydata/binlog/ [root@pc0003 ~]# service mysqld restart Shutting down MySQL. SUCCESS! Starting MySQL.. SUCCESS!
会重新创建日志文件与索引
[root@pc0003 data]# cd /mydata/binlog/ [root@pc0003 binlog]# ls -1 master-bin.000001 master-bin.index
之前的日志文件已经无法识别
mysql> show binary logs; +-------------------+-----------+ | Log_name | File_size | +-------------------+-----------+ | master-bin.000001 | 107 | +-------------------+-----------+
中继日志：
relay_log_purge={ON|OFF}
是否自动清理不再需要中继日志
日志相关的服务器参数详解：
expire_logs_days={0..99}
设定二进制日志的过期天数，超出此天数的二进制日志文件将被自动删除。默认为0，表示不启用过期自动删除功能。如果启用此功能，自动删除工作通常发生在MySQL启动时或FLUSH日志时。作用范围为全局，可用于配置文件，属动态变量。
general_log={ON|OFF}
设定是否启用查询日志，默认值为取决于在启动mysqld时是否使用了--general_log选项。如若启用此项，其输出位置则由--log_output选项进行定义，如果log_output的值设定为NONE，即使用启用查询日志，其也不会记录任何日志信息。作用范围为全局，可用于配置文件，属动态变量。
general_log_file=FILE_NAME
查询日志的日志文件名称，默认为“hostname.log"。作用范围为全局，可用于配置文件，属动态变量。
binlog-format={ROW|STATEMENT|MIXED}
指定二进制日志的类型，默认为STATEMENT。如果设定了二进制日志的格式，却没有启用二进制日志，则MySQL启动时会产生警告日志信息并记录于错误日志中。作用范围为全局或会话，可用于配置文件，且属于动态变量。
log={YES|NO}
是否启用记录所有语句的日志信息于一般查询日志(general query log)中，默认通常为OFF。MySQL 5.6已经弃用此选项。
log-bin={YES|NO}
是否启用二进制日志，如果为mysqld设定了--log-bin选项，则其值为ON，否则则为OFF。其仅用于显示是否启用了二进制日志，并不反应log-bin的设定值。作用范围为全局级别，属非动态变量。
log_bin_trust_function_creators={TRUE|FALSE}
此参数仅在启用二进制日志时有效，用于控制创建存储函数时如果会导致不安全的事件记录二进制日志条件下是否禁止创建存储函数。默认值为0，表示除非用户除了CREATE ROUTING或ALTER ROUTINE权限外还有SUPER权限，否则将禁止创建或修改存储函数，同时，还要求在创建函数时必需为之使用DETERMINISTIC属性，再不然就是附带READS SQL DATA或NO SQL属性。设置其值为1时则不启用这些限制。作用范围为全局级别，可用于配置文件，属动态变量。
log_error=/PATH/TO/ERROR_LOG_FILENAME
定义错误日志文件。作用范围为全局或会话级别，可用于配置文件，属非动态变量。
log_output={TABLE|FILE|NONE}
定义一般查询日志和慢查询日志的保存方式，可以是TABLE、FILE、NONE，也可以是TABLE及FILE的组合(用逗号隔开)，默认为TABLE。如果组合中出现了NONE，那么其它设定都将失效，同时，无论是否启用日志功能，也不会记录任何相关的日志信息。作用范围为全局级别，可用于配置文件，属动态变量。
log_query_not_using_indexes={ON|OFF}
设定是否将没有使用索引的查询操作记录到慢查询日志。作用范围为全局级别，可用于配置文件，属动态变量。
log_slave_updates
用于设定复制场景中的从服务器是否将从主服务器收到的更新操作记录进本机的二进制日志中。本参数设定的生效需要在从服务器上启用二进制日志功能。
log_slow_queries={YES|NO}
是否记录慢查询日志。慢查询是指查询的执行时间超出long_query_time参数所设定时长的事件。MySQL 5.6将此参数修改为了slow_query_log。作用范围为全局级别，可用于配置文件，属动态变量。
log_warnings=#
设定是否将警告信息记录进错误日志。默认设定为1，表示启用；可以将其设置为0以禁用；而其值为大于1的数值时表示将新发起连接时产生的“失败的连接”和“拒绝访问”类的错误信息也记录进错误日志。
long_query_time=#
设定区别慢查询与一般查询的语句执行时间长度。这里的语句执行时长为实际的执行时间，而非在CPU上的执行时长，因此，负载较重的服务器上更容易产生慢查询。其最小值为0，默认值为10，单位是秒钟。它也支持毫秒级的解析度。作用范围为全局或会话级别，可用于配置文件，属动态变量。
max_binlog_cache_size{4096 .. 18446744073709547520}
二进定日志缓存空间大小，5.5.9及以后的版本仅应用于事务缓存，其上限由max_binlog_stmt_cache_size决定。作用范围为全局级别，可用于配置文件，属动态变量。
max_binlog_size={4096 .. 1073741824}
设定二进制日志文件上限，单位为字节，最小值为4K，最大值为1G，默认为1G。某事务所产生的日志信息只能写入一个二进制日志文件，因此，实际上的二进制日志文件可能大于这个指定的上限。作用范围为全局级别，可用于配置文件，属动态变量。
max_relay_log_size={4096..1073741824}
设定从服务器上中继日志的体积上限，到达此限度时其会自动进行中继日志滚动。此参数值为0时，mysqld将使用max_binlog_size参数同时为二进制日志和中继日志设定日志文件体积上限。作用范围为全局级别，可用于配置文件，属动态变量。
innodb_log_buffer_size={262144 .. 4294967295}
设定InnoDB用于辅助完成日志文件写操作的日志缓冲区大小，单位是字节，默认为8MB。较大的事务可以借助于更大的日志缓冲区来避免在事务完成之前将日志缓冲区的数据写入日志文件，以减少I/O操作进而提升系统性能。因此，在有着较大事务的应用场景中，建议为此变量设定一个更大的值。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_log_file_size={108576 .. 4294967295}
设定日志组中每个日志文件的大小，单位是字节，默认值是5MB。较为明智的取值范围是从1MB到缓存池体积的1/n，其中n表示日志组中日志文件的个数。日志文件越大，在缓存池中需要执行的检查点刷写操作就越少，这意味着所需的I/O操作也就越少，然而这也会导致较慢的故障恢复速度。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_log_files_in_group={2 .. 100}
设定日志组中日志文件的个数。InnoDB以循环的方式使用这些日志文件。默认值为2。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_log_group_home_dir=/PATH/TO/DIR
设定InnoDB重做日志文件的存储目录。在缺省使用InnoDB日志相关的所有变量时，其默认会在数据目录中创建两个大小为5MB的名为ib_logfile0和ib_logfile1的日志文件。作用范围为全局级别，可用于选项文件，属非动态变量。
relay_log=file_name
设定中继日志的文件名称，默认为host_name-relay-bin。也可以使用绝对路径，以指定非数据目录来存储中继日志。作用范围为全局级别，可用于选项文件，属非动态变量。
relay_log_index=file_name
设定中继日志的索引文件名，默认为为数据目录中的host_name-relay-bin.index。作用范围为全局级别，可用于选项文件，属非动态变量。
relay-log-info-file=file_name
设定中继服务用于记录中继信息的文件，默认为数据目录中的relay-log.info。作用范围为全局级别，可用于选项文件，属非动态变量。
relay_log_purge={ON|OFF}
设定对不再需要的中继日志是否自动进行清理。默认值为ON。作用范围为全局级别，可用于选项文件，属动态变量。
relay_log_space_limit=#
设定用于存储所有中继日志文件的可用空间大小。默认为0，表示不限定。最大值取决于系统平台位数。作用范围为全局级别，可用于选项文件，属非动态变量。
slow_query_log={ON|OFF}
设定是否启用慢查询日志。0或OFF表示禁用，1或ON表示启用。日志信息的输出位置取决于log_output变量的定义，如果其值为NONE，则即便slow_query_log为ON，也不会记录任何慢查询信息。作用范围为全局级别，可用于选项文件，属动态变量。
slow_query_log_file=/PATH/TO/SOMEFILE
设定慢查询日志文件的名称。默认为hostname-slow.log，但可以通过--slow_query_log_file选项修改。作用范围为全局级别，可用于选项文件，属动态变量。
sql_log_bin={ON|OFF}
用于控制二进制日志信息是否记录进日志文件。默认为ON，表示启用记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。作用范围为全局和会话级别，属动态变量。
sql_log_off={ON|OFF}
用于控制是否禁止将一般查询日志类信息记录进查询日志文件。默认为OFF，表示不禁止记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。作用范围为全局和会话级别，属动态变量。
sync_binlog=#
设定多久同步一次二进制日志至磁盘文件中，0表示不同步，任何正数值都表示对二进制每多少次写操作之后同步一次。当autocommit的值为1时，每条语句的执行都会引起二进制日志同步，否则，每个事务的提交会引起二进制日志同步。
备份和恢复：
1、灾难恢复；
2、审计；
3、测试；
备份：目的用于恢复；对备份数据做恢复测试；
备份类型：
根据备份时，数据库服务器是否在线：
冷备：cold backup
温备：warm backup
热备：hot backup
根据备份的数据集：
完全备份：full backup
部分备份: partial backup
根据备份时的接口（直接备份数据文件还是通过mysql服务器导出数据）：
物理备份：直接复制(归档)数据文件的备份方式；physical backup
逻辑备份：把数据从库中提出出来保存为文本文件；logical backup
mysqldump，需要大量的时间
根据备份时是备份整个数据还是仅备份变化的数据：
完全备份：full backup
增量备份：incremental backup
差异备份：differential backup
备份策略：
选择备份方式
选择备份时间
考虑到恢复成本
恢复时长
备份成本：
锁时间
备份时长
备份负载
备份对象：
数据
配置文件
代码：存储过程，存储函数，触发器
OS相关的配置文件，如crontab配置计划及相关的脚本
跟复制相关的配置；
二进制日志文件
备份工具：
mysqldumper: 多线程的mysqldump
很难实现差异或增量备份；
lvm-snapshot:
接近于热备的工具：因为要先请求全局锁，而后创建快照，并在创建快照完成后释放全局锁；
使用cp、tar等工具进行物理备份；
备份和恢复速度较快；
很难实现增量备份，并且请求全局需要等待一段时间，在繁忙的服务器上尤其如此；
SELECT clause INTO OUTFILE ‘/path/to/somefile‘
LOAD DATA INFILE ‘/path/from/somefile‘
部分备份工具， 不会备份关系定义，仅备份表中的数据；
逻辑备份工具，快于mysqldump
Innobase: 商业备份工具, innobackup
Xtrabackup: 由Percona提供的开源备份工具
InnoDB热备，增量备份；
MyISAM温备，不支持增量；
物理备份，速度快；
mysqlhotcopy: 几乎冷备
mysqldump:
mysqldump [options] [db_name [tbl_name ...]]
备份单个库：mysqldump [options] db_name
恢复时：如果目标库不存在，需要事先手动创建
--all-databases: 备份所有库
--databases db1 db2 ...: 备份指定的多个库
[root@pc0003 ~]# man mysqldump
逻辑备份工具
InnoDB热备、MyISAM温备、Aria温备
备份和恢复过程较慢
数据量小于10G可以使用
文本工具可以二次处理
如
连接查询：事先将两张或多张表join，根据join的结果进行查询；
【导入hellodb.sql数据库】 [root@pc0003 home]# mysql -uroot -p mydb < /home/hellodb.sql 【备份/导出 单个数据库】 会显示数据内容 [root@pc0003 ~]# mysqldump -uroot -hlocalhost -p hellodb 输出重定向，文本文件 [root@pc0003 ~]# mysqldump -uroot -hlocalhost -p hellodb > /tmp/hdb.sql 【恢复单个数据库】 先创建这个数据库 mysql> create database hdb; 再导入这个文件 [root@pc0003 ~]# mysql -uroot -hlocalhost -p hdb < /tmp/hdb.sql 【备份所有数据库】 [root@pc0003 ~]# mysqldump -uroot -p --all-databases > /tmp/all.sql 【备份指定数据库】不要用逗号mydb hellodb [root@pc0003 ~]# mysqldump -uroot -p --databases mydb hellodb > /tmp/all.sql 【恢复演示】 mysql> drop database mydb; mysql> drop database hellodb; 恢复 [root@pc0003 ~]# mysql -p < /tmp/all.sql
注意：备份前要加锁
--lock-all-tables：请求锁定所有表之后再备份，对MyISAM、InnoDB、Aria做温备
--single-transaction: 能够对InnoDB存储引擎实现热备；
[root@pc0003 ~]# mysqldump -p --databases hdb --single-transaction --flush-logs > /home/hdb.4.sql
【真正的备份】先锁定，阻塞别人写入
[root@pc0003 ~]# mysqldump -p --databases hdb --lock-all-tables > /home/hello.sql [root@pc0003 ~]# cat /home/hello.sql 备份myISAM记录日志文件标记 --master-data=2 [root@pc0003 ~]# mysqldump -p --databases hdb --lock-all-tables --flush-logs --master-data=2 > /home/hdb.4.sql
备份代码：
--events: 备份事件调度器代码
--routines: 备份存储过程和存储函数
--triggers：备份触发器
备份时滚动日志：
--flush-logs: 备份前、请求到锁之后滚动日志；
######## 手动锁定表备份 演示 ##############################################
【锁定表，别人的写入被阻塞】 mysql> flush tables with read lock; Query OK, 0 rows affected (0.00 sec) 看一看使用的文件 mysql> show master status; +-------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +-------------------+----------+--------------+------------------+ | master-bin.000002 | 16191 | | | +-------------------+----------+--------------+------------------+ 1 row in set (0.00 sec) 滚动日志 mysql> flush logs; Query OK, 0 rows affected (0.16 sec) mysql> show master status; +-------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +-------------------+----------+--------------+------------------+ | master-bin.000003 | 107 | | | +-------------------+----------+--------------+------------------+ 1 row in set (0.00 sec) 【现在备份】 [root@pc0003 ~]# mysqldump -p --databases hdb > /home/hdb.2.sql 【释放锁】 mysql> unlock tables;
###########################################################
【自动完成以上操作】
[root@pc0003 ~]# mysqldump -p --databases hdb --lock-all-tables --flush-logs > /home/hdb.3.sql
复制时的同步位置标记：
--master-data=[0|1|2]
0: 不记录
1：记录为CHANGE MASTER语句
2：记录为注释的CHANGE MASTER语句
使用mysqldump备份：
请求锁：--lock-all-tables或使用--singe-transaction进行innodb热备；
滚动日志：--flush-logs
选定要备份的库：--databases
记录二进制日志文件及位置：--master-data=
***************************************************************
【基于mysqldump MyISAMb 备份 时间点恢复】InnoDB也可以
MyISAM 只能做基于--lock-all-tables 温备份 前提：之前做过一次全局数据库备份，后来有新建表，并删除了这个数据库 说明，恢复时没必要开启二进制日志文件 显示表的结构信息 mysql> show table status from hdb\G 修改存储引擎 mysql> alter table classes engine ‘MyISAM‘; 备份 [root@pc0003 ~]# mysqldump -p --databases hdb --lock-all-tables --flush-logs --master-data=2 > /home/hd4.sql cat /home/hd4.sql -- CHANGE MASTER TO MASTER_LOG_FILE=‘master-bin.000006‘, MASTER_LOG_POS=107; 改变数据 mysql> create table newtb(Name char(10)); mysql> insert into newtb values (‘TOM‘),(‘Jerry‘); 删除数据库 mysql> drop database hdb; 【准备恢复】 [root@pc0003 binlog]# mysqlbinlog --start-position=107 master-bin.000006 查看到drop前的提交位置为400 COMMIT/*!*/; # at 400 文件重定向保存到 [root@pc0003 binlog]# mysqlbinlog --start-position=107 --stop-position=400 master-bin.000006 > /home/hdb.5.inc.sql =======注意，看一下=================================== 关闭二进制临时日志，对当前回话生效 mysql> set session sql_log_bin=0; [root@pc0003 binlog]# mysql -p < /home/hdb.4.sql mysql> show master status; +-------------------+----------+ | File | Position | +-------------------+----------+ | master-bin.000006 | 8032 | +-------------------+----------+ 位置已经滚动好多 mysql> set session sql_log_bin=1; mysql> drop database hdb; ============================================ 滚动新的日志 mysql> flush logs; mysql> show master status; +-------------------+----------+ | File | Position | +-------------------+----------+ | master-bin.000008 | 107 | +-------------------+----------+ 临时关闭二进制 mysql> set session sql_log_bin=0; 恢复前一次的全部备份 mysql> source /home/hdb.4.sql mysql> show master status; +-------------------+----------+ | File | Position | +-------------------+----------+ | master-bin.000008 | 107 | +-------------------+----------+ mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hdb | | mysql | | performance_schema | | test | | testdb | +--------------------+ mysql> source /home/hdb.5.inc.sql mysql> set session sql_log_bin=1; mysql> use hdb; Database changed mysql> show tables; +---------------+ | Tables_in_hdb | +---------------+ | classes | | coc | | courses | | newtb | | scores | | students | | teachers | | toc | +---------------+ 数据恢复完成！ *************************************************************** 建议：关闭二进制日志，关闭其它用户连接； mysql> show master status; +-------------------+----------+ | File | Position | +-------------------+----------+ | master-bin.000009 | 107 | +-------------------+----------+
备份策略：基于mysqldump
备份：mysqldump+二进制日志文件；
周日做一次完全备份：备份的同时滚动日志
周一至周六：备份二进制日志；
恢复：
完全备份+各二进制日志文件中至此刻的事件
对MySQL配置文件，以及与MySQL相关的OS配置文件在每次修改后都应该直接进行备份；
练习：写一个备份脚本；
1、备份所有数据库；
2、要每周日凌晨自动执行；
************ lvm-snapshot *****************************************************************8
lvm-snapshot：基于LVM快照的备份
1、事务日志跟数据文件必须在同一个卷上；
2、创建快照卷之前，要请求MySQL的全局锁；在快照创建完成之后释放锁；
3、请求全局锁完成之后，做一次日志滚动；做二进制日志文件及位置标记(手动进行)；
备份步骤：
1、请求全局锁，并滚动日志
mysql> FLUSH TABLES WITH READ LOCK;
mysql> FLUSH LOGS;
2、做二进制日志文件及位置标记(手动进行)；
# mysql -e ‘show master status‘ > /path/to/somefile
3、创建快照卷
# lvcreate -L -s -n -p r /path/to/some_lv
4、释放全局锁
mysql> UNLOCK TABLES;
5、挂载快照卷并备份
# cp
6、备份完成之后，删除快照卷
恢复：
1、二进制日志保存好；
提取备份之后的所有事件至某sql脚本中；
2、还原数据，修改权限及属主属组等，并启动mysql
3、做即时点还原
mylvbackup: perl脚本，快速基于Lvm备份mysql
mysql二进制日志详解及备份恢复、基于mysqldump及lvmsnapshot做备份恢复详解
标签：mysql二进制日志详解及备份恢复、基于mysqldump及lvmsnapshot做备份恢复详解
原文地址：http://990487026.blog.51cto.com/10133282/1694973
