标签：sphinx 线程 一个 包含 恢复 last ror 当前时间 ssl
Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。
一、Mydumper主要特性：
-执行并行(速度快)、性能提升
-易于管理
-一致性：在所有的threads之间维护快照，提供master和slave日志的准确位置等
-管理型：支持PCRE
默认是关闭了binlog的dump功能，要想开启，需要在cmke编译的时候添加-DWITH_BINLOG=ON
二、如何获取一致性快照的：
-server上正在运行的慢查询或中断dump，或者慢查询被kill掉
-需要施加全局写锁("flush tables with read lock")
-读取不同的元数据("show slave status","show master status")
-具有事务性和非事务性表一致的快照(0.2.2+)
-一旦所有的工作现成通知已经创建好快照，master会执行"unlock tables",开始运行队列中的job
三、mydumper的工作原理：
mydumper的主要工作步骤：
1 主线程 flush tables with read lock, 施加全局只读锁，以阻止dml语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供恢复使用
3 start transaction with consistent snapshot; 开启读一致事务
4 启用n个（线程数可以指定，默认是4）dump线程导出表和表结构
5 备份非事务类型的表
6 主线程 unlock tables，备份完成非事务类型的表之后，释放全局只读锁
7 基于事务dump innodb tables
8 事务结束
四、mydumper的安装：
# yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel
# wget http://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
# tar zxvf mydumper-0.9.1.tar.gz -C ../software/
# cmake .
# cmake . -- The C compiler identification is GNU 4.8.5 -- The CXX compiler identification is GNU 4.8.5 -- Check for working C compiler: /bin/cc -- Check for working C compiler: /bin/cc -- works -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Check for working CXX compiler: /bin/c++ -- Check for working CXX compiler: /bin/c++ -- works -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Using mysql-config: /bin/mysql_config -- Found MySQL: /usr/include/mysql, /usr/lib64/mysql/libmysqlclient.so;/usr/lib64/libpthread.so;/usr/lib64/libz.so;/usr/lib64/libm.so;/usr/lib64/libssl.so;/usr/lib64/libcrypto.so;/usr/lib64/libdl.so -- Found ZLIB: /usr/lib64/libz.so (found version "1.2.7") -- Found PkgConfig: /bin/pkg-config (found version "0.27.1") -- checking for one of the modules ‘glib-2.0‘ -- checking for one of the modules ‘gthread-2.0‘ -- checking for module ‘libpcre‘ -- found libpcre, version 8.32 -- Found PCRE: /usr/include CMake Warning at docs/CMakeLists.txt:9 (message): Unable to find Sphinx documentation generator -- ------------------------------------------------ -- MYSQL_CONFIG = /bin/mysql_config -- CMAKE_INSTALL_PREFIX = /usr/local -- BUILD_DOCS = ON -- WITH_BINLOG = OFF -- RUN_CPPCHECK = OFF -- Change a values with: cmake -D<Variable>=<Value> -- ------------------------------------------------ -- -- Configuring done -- Generating done -- Build files have been written to: /root/mydumper-0.9.1
# make
# make Scanning dependencies of target mydumper [ 25%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o [ 50%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o [ 75%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o Linking C executable mydumper [ 75%] Built target mydumper Scanning dependencies of target myloader [100%] Building C object CMakeFiles/myloader.dir/myloader.c.o Linking C executable myloader [100%] Built target myloader
# make install
# make install [ 75%] Built target mydumper [100%] Built target myloader Install the project... -- Install configuration: "" -- Installing: /usr/local/bin/mydumper -- Removed runtime path from "/usr/local/bin/mydumper" -- Installing: /usr/local/bin/myloader -- Removed runtime path from "/usr/local/bin/myloader"
安装好之后 ，会生成两个文件：
/usr/local/bin/mydumper /usr/local/bin/myloader
五、参数说明：
-B, --database 要导出的数据库名 -T, --tables-list 要导出的表名，多个表用逗号分隔。不支持正则表达式 -o, --outputdir 导出数据文件存放的目录，mydumper会自动创建 -s, --statement-size 生成插入语句的字节数, 默认1000000字节 -r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize -F, --chunk-filesize Split tables into chunks of this output file size. This value is in MB -c, --compress 压缩导出的文件 -e, --build-empty-files 即使是空表也为表创建文件 -x, --regex 使用正则表达式匹配‘db.table‘ -i, --ignore-engines 忽略的存储引擎，多个存储引擎使用逗号分隔 -m, --no-schemas 只导出数据，不导出建库建表语句 -d, --no-data 仅仅导出建表结构，创建db的语句，不导出表的数据 -G, --triggers 导出触发器 -E, --events 导出events -R, --routines 导出存储过程和函数 -k, --no-locks 不施加临时的共享读锁，会导致备份不一致 --less-locking 最小化在innodb表上的锁表时间 -l, --long-query-guard 设置长查询定时器，单位是秒，默认是60 -K, --kill-long-queries Kill掉运行时间长的查询 -D, --daemon 以守护进程的方式执行 -I, --snapshot-interval 创建导出快照的时间间隔，默认是 60s ，该参数只有在守护进程执行的时候有用 -L, --logfile 指定mydumper输出的日志文件，默认使用控制台输出 --tz-utc SET TIME_ZONE=‘+00:00‘ at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable. --skip-tz-utc --use-savepoints 使用savepoints减少对元数据锁定的问题，需要SUPER权限 --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn‘t exist --lock-all-tables Use LOCK TABLE for all, instead of FTWRL -U, --updated-since Use Update_time to dump only tables updated in the last U days --trx-consistency-only Transactional consistency only -h, --host 主机 -u, --user 用户名 -p, --password 密码 -P, --port 端口 -S, --socket 套接字文件 -t, --threads 所使用的线程数，默认是4 -C, --compress-protocol 压缩协议 -V, --version 显示版本后退出 -v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
六、mydump导出的文件类型
metadata :包含导出开始和结束时间，如果开启binlog会记录日志位置信息；如果启用gtid ，则记录gtid信息。 db.table.sql :数据文件，insert语句 db.table-schema.sql :包含建表语句 db-schema.sql :包含建库语句
标签：sphinx 线程 一个 包含 恢复 last ror 当前时间 ssl
原文地址：http://www.cnblogs.com/abclife/p/7755031.html
