码迷,mamicode.com
首页 > 编程语言 > 详细

9、mydumper和myloader多线程备份恢复

时间:2016-06-20 00:58:39      阅读:1515      评论:0      收藏:0      [点我收藏+]

标签:mydumper   myloader   

<--目录-->

1)mydumper介绍

2)mydumper特性

3)mydumper参数

4)mydumper安装方法

5) mydumper效率测试

6)mydumper导出实战

7)mydumper导出的文件介绍

8)myloader参数

9)myloader导入实战


【mydumper介绍】

 mydumper是一个针对 MySQL 和 Drizzle 的高性能多线程备份和恢复工具。此工具的开发人员分别来自  MySQL、Facebook、SkySQL公司,目前已经有一些大型产品业务测试并使用了该工具。我们在恢复数据  时也可以使用myloader工具


【mydumper特性】

 1、采用轻量级C语言写的代码

 2、相比于mysqldump,其速度快了近10倍

 3、具有事务性和非事务性表一致的快照(适用于0.2.2+)

 4、可快速进行文件压缩

 5、支持导出binlog
 6、可多线程恢复(适用于0.2.1+)

 可以用守护进程的工作方式,定时扫描和输出连续的二进制日志


【mydumper参数】 

 注:标红的为必须掌握参数

 -h:连接的MySQL服务器

 -u:用户备份的连接用户

 -c:压缩导出的文件

 -p:用户的密码

 -P:连接端口

 -S:连接socket文件 

 -B:指定导出的数据库名,不加该参数,默认将执行的mysql实例下的所有数据库全部导出

 -T:需要备份的表,用逗号(,)分隔

 -o: 输出的目录

 -t: 要使用的并发线程数,默认为4,需要综合存储IO性能等因素确定具体值

 -V:查看版本

 -v:详细级别输出 0 = 沉默, 1 = 错误, 2 = 警告, 3 = 信息,默认是2

 -e: 默认无数据则只有表结构文件,加了-e则有表数据文件。但是表数据文件仍然为空

 -x:支持正则表达式,如 mydumper -regx ‘^(?!(mysql|test))‘

 -i:忽略的存储引擎,用逗号(,)分隔

 -m:不导出表结构和库结构,只导表数据,甚用

 -d: 不导出表数据,只导表结构和库结构

 -long-query-quard:长查询,默认60秒

 -k:kill杀了长时间运行的查询

 -b:导出binlog

 -D:启用守护进程模式

 -I:dump快照间隔,默认60s

 -L:mysqldumper的日志输出,一般在Daemon模式下使用


【mydumper安装方法】

 yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel gcc gcc-c++

 wget -c https://launchpad.net/ubuntu/+archive/primary/+files/mydumper_0.9.1.orig.tar.gz

 tar xzvf mydumper_0.9.1.orig.tar.gz

 cd mydumper-0.9.1/

 cmake .
 make 

 make install


【mydumper效率测试】

 mysqldump 与 mydumper 的执行时间的对比

 [root@localhost mysql]# du -sh test

 20M     test

 可看到一共有20兆数据

 mysqldump执行的时间情况:

 [root@localhost opt]# time mysqldump -uroot -pxxx -B test > test.sql


 real    0m0.671s

 user    0m0.382s

 sys     0m0.033s


 mydumper执行的时间情况:

 [root@localhost backup]# time mydumper -u root -p wsyht -B test -o /data/backup/


 real    0m0.480s

 user    0m0.233s

 sys     0m0.028s


 总结:mydumper的速度是远远比mysqldump的速度快的多的


【mydumer导出实战】 

 1、导出所有库

    不加 -B 会导出所有库,不加 -o 会在当前目录下以当前日期时间命名创建一个目录,如下:

    [root@localhost backup]# mydumper -u root -p wsyht      #不指定参数进行全备

    [root@localhost backup]# ls

    export-20160619-192629   #自已创建的备份目录

    一般不用全备就用-B参数指定库名,不想他自已在当前路径创建备份目录就用-o指定他备份的路径


 2、压缩导出   

    说明:

    -c 压缩参数

    压缩导出后,后辍名会变成.sql.gz

    [root@localhost backup]# mydumper -u root -p wsyht -B test -c -o /data/backup/

    [root@localhost backup]# ls

    metadata  test-schema-create.sql.gz  test.t1-schema.sql.gz  test.t1.sql.gz  


 3、不压缩备份

    导出来的文件则是.sql

    [root@localhost backup]# mydumper -u root -p wsyht -B test -o /data/backup/ 

    metadata  test-schema-create.sql  test.t1-schema.sql  test.t1.sql  

  

    注意!注意!注意!重要事情说三篇。在终端输入命令备份数据的时候,参数后面的值

    定要以空格分隔,否则会报如下错误

    [root@localhost ~]#  mydumper -h 127.0.0.1 -uroot -p ‘wsyht‘ -B test -o /data/backup/ 

    option parsing failed: Error parsing option -r, try --help

    上面报错就是因为-u 没有跟 root 以空格分隔,而是黏在一起写,所以报错


mydumper导出的文件介绍

  在导出文件的时候,可以看到生成了四个文件,下面我们来逐一介绍:

  metadata:这个文件指定了你从开始备份文件到结束备份文件的时间

  test.t1-schema-create.sql: 这个文件是备份创建库的sql语句

  test.t1-schema.sql:这个文件是备份创建表的sql语句 

  test.t1.sql  这个文件是备份插入表数据的sql语句


【myloader参数】

  注:标红的为必须掌握参数

  -d: 指定恢复备份的目录,该目录必须是mydumper生成的,myloader会判断该目录是否存在metadata文件

  -h:连接的MySQL服务器

  -u:用户备份的连接用户

  -C:导入压缩份备出来的文件

  -p:用户的密码

  -P:连接端口

  -S:连接socket文件 

  -B:指定恢复的数据库名

  -o: 表存在则会删除

  -t: 要使用的并发线程数,默认为4,需要综合存储IO性能等因素确定具体值

  -V:查看版本

  -v:详细级别输出 0 = 沉默, 1 = 错误, 2 = 警告, 3 = 信息,默认是2

  -s: 该参数为myloader新增参数,用于恢复备份目录中指定的数据库

  -e:启用恢复数据的二进制日志

  -q: 表示在工作线程导入表数据时,多少条记录做一次提交,默认为1000


【myloader导入实战】

 1、恢复所有库 

    说明,不加-B指定要导的库,默认导入当初备份出来的那个库

    这里之前备份的是test库,则导进库的时候会创建一个test库

    如果是所有库,原理一样,自动创建所有库,因为备份时,库语句也备份了

    [root@localhost test]# mysql -uroot -pwsyht -e "show databases;"     

    +--------------------+

    | Database           |

    +--------------------+

    | information_schema |

    | mysql              |

    +--------------------+

    [root@localhost test]# myloader -u root -p wsyht  -d /data/backup/test/ 

    [root@localhost test]# mysql -uroot -pwsyht -e "show databases;"        

    +--------------------+

    | Database           |

    +--------------------+

    | information_schema |

    | mysql              |

    | test               |

    +--------------------+



2、恢复到新库

   说明:

   无论库存在与否都可以直接导

   如果-B指定需要导入的库不存在,他也会先帮你创建,无需你再手动创建,非常方便

   [root@localhost test]# mysql -uroot -pwsyht -e "show databases;"                     

   +--------------------+

   | Database           |

   +--------------------+

   | information_schema |

   | mysql              |

   | test               |

   +--------------------+

   [root@localhost test]# myloader -u root -p wsyht -B wsyht  -d /data/backup/test/ 

   [root@localhost test]# mysql -uroot -pwsyht -e "show databases;"                

   +--------------------+

   | Database           |

   +--------------------+

   | information_schema |

   | mysql              |

   | test               |

   | wsyht              |

   +--------------------+


3、恢复到原库 

   说明:

   即恢复到已创建好的库和表中,如果已存在了表,则必须加-o参数

   [root@localhost test]# mysql -uroot -pwsyht -e "show databases;"                

   +--------------------+

   | Database           |

   +--------------------+

   | information_schema |

   | mysql              |

   | test               |

   | wsyht              |

   +--------------------+

   [root@localhost test]# myloader -u root -p wsyht -B test  -d /data/backup/test/ 

   ** (myloader:20499): CRITICAL **: Error restoring test.t1 from file test.t1-                  schema.sql.gz: Table ‘t1‘ already exists

   上面说我表已经存在,则加-o参数自动删除已存在的表再导进

   [root@localhost test]# myloader -u root -p wsyht -B test -o -d /data/backup/test/ 


4、恢复指定目录的库

   说明:

   即一个目录备份了多个库,我不想恢复这个目录下的所有库,只想恢复这个目录下的一个库

   则需要加-s参数指定要恢复那个目录下的哪个库   

   [root@localhost test]# ls

   metadata                              mysql.plugin-schema.sql.gz

   mysql.columns_priv-schema.sql.gz      mysql.proc-schema.sql.gz

   mysql.db-schema.sql.gz                mysql.procs_priv-schema.sql.gz

   mysql.db.sql.gz                       mysql-schema-create.sql.gz

   mysql.event-schema.sql.gz             mysql.servers-schema.sql.gz

   mysql.func-schema.sql.gz              mysql.tables_priv-schema.sql.gz

   mysql.help_category-schema.sql.gz     mysql.time_zone_leap_second-schema.sql.gz

   mysql.help_category.sql.gz            mysql.time_zone_name-schema.sql.gz

   mysql.help_keyword-schema.sql.gz      mysql.time_zone-schema.sql.gz

   mysql.help_keyword.sql.gz             mysql.time_zone_transition-schema.sql.gz

   mysql.help_relation-schema.sql.gz     mysql.time_zone_transition_type-schema.sql.gz

   mysql.help_relation.sql.gz            mysql.user-schema.sql.gz

   mysql.help_topic-schema.sql.gz        mysql.user.sql.gz

   mysql.help_topic.sql.gz               test-schema-create.sql.gz

   mysql.host-schema.sql.gz              test.t1-schema.sql.gz

   mysql.ndb_binlog_index-schema.sql.gz  test.t1.sql.gz

   可看到上面有两种不同颜色的压缩包,即存了两个库在这个目录下

   [root@localhost test]# myloader -u root -p wsyht -B auth -s mysql -d /data/backup/test/

   [root@localhost test]# mysql -uroot -pwsyht -e"show databases;"                            +--------------------+

   | Database           |

   +--------------------+

   | information_schema |

   | auth               |

   | mysql              |

   | test               |

   +--------------------+

   [root@localhost test]# mysql -uroot -pwsyht -e"use auth;show tables;"

   +---------------------------+

   | Tables_in_auth            |

   +---------------------------+

   | columns_priv              |

   | db                        |

   | event                     |

   | func                      |

   | help_category             |

   | help_keyword              |

   | help_relation             |

   | help_topic                |

   | host                      |

   | ndb_binlog_index          |

   | plugin                    |

   | proc                      |

   | procs_priv                |

   | servers                   |

   | tables_priv               |

   | time_zone                 |

   | time_zone_leap_second     |

   | time_zone_name            |

   | time_zone_transition      |

   | time_zone_transition_type |

   | user                      |

   +---------------------------+

   可看到上面已经把备份的库导进新库auth里面

   注:如果上面不加 -s 参数指定需要导入该目录的哪个库,则会两个库都导进auth库

       如果 -s -B 两个参数都不加,则会默认导入之前原来导出的那个库

       则从test库导出来的库,会再导进test库,从mysql库导出来的会再导进mysql库


最后再啰嗦两句,总结一下:

     库存在,导进没影响,库不存在,也不需要事先创建,因为当时备份库的时候也一起把建库  语句也备份了,更方便的和神奇是,你加-B参数随便起一个库名,导数据的时候,他也可以帮你  建好该库,然后导数据,但如果表存在的话,则需加-o参数,他会帮自已帮你删了表然后再继续  导,而不需要我们手动去删库删表再导,而且使用多线程导入速度杠杠的,是不是觉得减轻了我  们许多工作,并且提高了我们运维不少的工作效率,哈哈!!

本文出自 “wsyht的博客” 博客,请务必保留此出处http://wsyht2015.blog.51cto.com/9014030/1790852

9、mydumper和myloader多线程备份恢复

标签:mydumper   myloader   

原文地址:http://wsyht2015.blog.51cto.com/9014030/1790852

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!