标签：cut   背景   prim   log   connect   test   sql   出现   技术分享   

性能测试

一、测试背景

1、机器配置和版本

机器配置（下面测试qps数据都是以本机器配置为准）

型号：Dell s3710
磁盘：SSD 3T
CPU:32
内存：128G

MySQL版本：5.7.22
gh-ost版本：1.0.46
pt-osc版本：3.0.12

2、数据准备和业务模拟

----插入1000万条数据,表大小约2G--
sysbench   --mysql-user=darren --mysql-password=darren --mysql-host=10.126.126.164 --mysql-port=3306 --test=tests/db/oltp.lua            --oltp_tables_count=1 --oltp-table-size=10000000 --rand-init=on prepare

----64个并发线程模拟SQL----
sysbench   --mysql-user=darren --mysql-password=darren  --mysql-host=10.126.126.164 --mysql-port=3306 --test=tests/db/oltp.lua            --oltp-reconnect-mode=transaction --oltp_tables_count=1 --oltp-table-size=10000000 --num-threads=64 --oltp-read-only=off            --report-interval=10 --rand-type=uniform --max-time=6000 --max-requests=0  run

二、性能测试

1、测试工具命令

-----------------------------------------gh-ost-------------------------------------------
    time gh-ost        --max-load=Threads_running=70        --critical-load=Threads_running=80        --chunk-size=1000         --dml-batch-size=100        --initially-drop-old-table        --initially-drop-ghost-table        --initially-drop-socket-file        --ok-to-drop-table        --host="10.126.126.164"        --port=3306        --user="darren"        --password="darren"        --assume-rbr        --allow-on-master        --assume-master-host=10.126.126.164:3306        --database="sbtest"        --table="sbtest1"        --alter="drop primary key" \   
       --panic-flag-file=/tmp/ghost.panic.flag        --serve-socket-file=/tmp/ghost.sock        --verbose        --execute

-----------------------------------------pt-osc-------------------------------------------
time pt-online-schema-change     --user=darren     --password=darren     --port=3306     --host=10.126.126.164     --alter "engine=innodb"     D=sbtest,t=sbtest1     --max-load="Threads_running=70"      --critical-load="Threads_running=80"     --execute

2、单表高负载测试(64个并发线程，写入QPS：26927)

3、单表正常负载测试(4个并发线程以下，写入QPS5000以下)

【注】

经过测试：当写入QPS5000以上，gh-ost无法完成任务，其原因是apply binlog是单线程，可以理解为slave，当原表写入量巨大时(QPS=5000以上)，
一直在应用日志，而gh-ost设计是binlog应用优先级高于row copy，所以我们看到row copy进度一直没变，这样如果原表一直压力这么大，那么gh-ost DDL将无法完成。
经过在s3710机器上测试如果原表写入的QPS大于5000将大概率出现此情况，小于5000的话没问题。

Copy: 0/9705089 0.0%; Applied: 183480; Backlog: 1000/1000; Time: 1m24s(total), 1m24s(copy); streamer: tjtx-126-164.001588:441763689; 
Copy: 0/9705089 0.0%; Applied: 185490; Backlog: 1000/1000; Time: 1m25s(total), 1m25s(copy); streamer: tjtx-126-164.001588:442986068; 
Copy: 0/9705089 0.0%; Applied: 207590; Backlog: 1000/1000; Time: 1m30s(total), 1m30s(copy); streamer: tjtx-126-164.001588:455843331;

三、各个工具优缺点对比

四、建议的DDL方案

1、MySQL5.5版本DDL方案

MySQL5.5版本online ddl功能不完善，建议全部使用PT-OSC工具进行

2、MySQL5.6和5.7版本DDL方案

3、MySQL8.0版本DDL方案

MySQL DDL方案测试及选型.

标签：cut   背景   prim   log   connect   test   sql   出现   技术分享   

原文地址：https://www.cnblogs.com/mysql-dba/p/9901618.html