码迷,mamicode.com
首页 > 数据库 > 详细

tpcc-mysql 对percona5.6进行压力测试

时间:2015-06-02 15:30:21      阅读:199      评论:0      收藏:0      [点我收藏+]

标签:mysql tpcc-mysql

    由于测试环境使用的是经过裁剪过的线上环境的ISO镜像,所以在初始阶段碰到了很多问题:

第一个错误:
# cd /root/tpcc-mysql/src && make
cc -w -O2 -g -I. `mysql_config --include`  -c load.c
cc -w -O2 -g -I. `mysql_config --include`  -c support.c
cc load.o support.o `mysql_config --libs_r` -lrt -o ../tpcc_load
/usr/bin/ld: cannot find -lssl
collect2: ld returned 1 exit status
make: *** [../tpcc_load] Error 1

    解决方法:安装openssl-devel
    
第二个错误:    
libperconaserverclient.so报错,貌似/etc/ld.so.conf.d/mysql.conf定义没有生效,不知道为什么!
# ln -sv /opt/mysql/lib/libperconaserverclient.so.18.1.0 /usr/lib64/libperconaserverclient.so
    另外,在/root/mysql-tpcc/load中也可以直接定义lib
    export LD_LIBRARY_PATH=/opt/mysql/lib
    
第三个错误:
    当使用tpcc_load载入完数据,进行压力测试时,却报错"Segmentation fault" ,
    搜索资料发现,大概意思是权限问题,
    使用echo "0" > /proc/sys/kernel/randomize_va_space命令无效
    在重新编译tpcc_load也无效的情况,只能挨个测试环境的问题。
    首先,在rpm安装的mysql-5.1.73上面可以正常使用,确定了不是tpcc-mysql版本问题;
    接着,在rpm安装的percona-5.6上面可以正常使用,确定了不是percona-5.6的问题;
    最后,当然从自身找原因,无奈水平有限!
    
    多次测试后,发现使用"/opt/mysql/support-files/binary-configure"生成的表,不会再有错误产生。、u
    查看其信息,“./scripts/mysql_install_db --no-defaults”
            ——“Don‘t read default options from any option file.”
    相比我不加任何参数的去初始化,这里依然会去读取/etc/my.cnf,
    所以依然不明所以!但是至少目前能够使用了!
    

第四个错误:
    在导入表结构后,不要立即加索引,因为网上大部分资料都是这么写的。这会加长导入数据的时间。
    另外,还不明白的一点是,一次tpcc_load后的数据库,能不能多次tpcc_start使用?


OK,tpcc-mysql  start:

# mysqladmin create tpcc1000; 
# mysql tpcc1000 < create_table.sql;
# ./tpcc_load 127.0.0.1:3306 tpcc1000 root "" 100 
# mysql tpcc1000 < add_fkey_idx.sql
# ./tpcc_start -h127.0.0.1 -P3306 -d tpcc1000 -uroot   -c 23 -r 3600 -l 10800 -w 500 > tpcc100.log
  # 叶金荣博客提到对于SSD需要测试1000个仓库才能测出准确的结果,但目前情况紧急,所以折半!鉴于第一次测试,所以压测时间缩短为3个小时。


Done!

    结果详解解读:http://imysql.cn/2014/10/10/tpcc-mysql-full-user-manual.shtml

New-Order:新订单,一次完整的订单事务,几乎涉及到全部表
Payment:支付,主要对应 orders、history 表
Order-Status:订单状态,主要对应 orders、order_line 表
Delivery:发货,主要对应 order_line 表
Stock-Level:库存,主要对应 stock 表

其他相关表:
客户:主要对应 customer 表
地区:主要对应 district 表
商品:主要对应 item 表
仓库:主要对应 warehouse 表


结果分析

 120, 8819(0):2.147|2.327, 8820(0):0.424|0.568, 882(0):0.208|0.237, 881(0):2.483|2.561, 883(0):7.025|7.405
 
-- 以“逗号”分隔,共6列
-- 第一列,第N次10秒
-- 第二列,新订单成功执行压测的次数(括号内,推迟执行压测的次数):90%事务的响应时间|本轮测试最大响应时间,
        新订单事务数也被认为是总有效事务数的指标,也就是在这10秒内总共完成的多少次完整的事务。
-- 第三列,支付业务成功执行次数(推迟执行次数):90%事务的响应时间|本轮测试最大响应时间
-- 第四列,订单状态业务的结果,后面几个的意义同上
-- 第五列,物流发货业务的结果,后面几个的意义同上
-- 第六列,库存仓储业务的结果,后面几个的意义同


最终成绩:

 (all must be [OK])       -- 下面所有业务逻辑结果都必须为 OK 才行
 [transaction percentage]
        Payment: 43.47% (>=43.0%) [OK]      -- 支付成功次数(上述统计结果中 sc + lt)必须大于43.0%,否则结果为NG,而不是OK
   Order-Status: 4.35% (>= 4.0%) [OK]       -- 订单状态,其他同上
       Delivery: 4.35% (>= 4.0%) [OK]       -- 发货,其他同上
    Stock-Level: 4.35% (>= 4.0%) [OK]       -- 库存,其他同上
 [response time (at least 90% passed)]      -- 响应耗时指标必须超过90%通过才行
      New-Order: 100.00%  [OK]              -- 下面几个响应耗时指标全部 100% 通过
        Payment: 100.00%  [OK]
   Order-Status: 100.00%  [OK]
       Delivery: 100.00%  [OK]
    Stock-Level: 100.00%  [OK]


                 50294.500 TpmC            
                         -- TpmC结果值,
Tpm表示transaction per minute,每分钟已执行的事务总量,而C表示基准测试!                 
(每分钟事务数,该值是“第一次统计结果”中的新订单事务数除以总耗时分钟数,例如本例中是:100589/2 = 50294.500)


结果出来后,需要做成图形,首先得先将需要的数据截取出来:这里取得是第一列的时间和第二列的已完成事务数量。

# vim tpcc-output-analyze.sh

#!/bin/sh
TIMESLOT=1
if [ -n "$2" ]
then
TIMESLOT=$2
fi
cat $1 | grep -v HY000 | grep -v payment | grep -v neword | awk -v timeslot=$TIMESLOT ‘BEGIN { FS="[,():]"; s=0; cntr=0; aggr=0 } /MEASURING START/ { s=1} /STOPPING THREADS/ {s=0} /0/ { if (s==1) { cntr++; aggr+=$2; } if ( cntr==timeslot ) { printf ("%d %3d\n",$1,(aggr/timeslot)) ; cntr=0; aggr=0 } }‘


然后,就是图形工具的操作了:

# vim log.conf

set terminal gif small size 1024,768 #指定输出成gif图片,且图片大小为550×25
set output "performance_fenxibaogao_dierci" #指定生成的gif图片的文件名
set title "MySQL transaction performance"   #图片标题
set style data lines	                    #显示网格
set xlabel "The N ge ten second"	    #X轴标题
set ylabel "transaction completed shuliang" #Y轴标题
set grid	                            #显示网格
plot "tpcc-graphic-data.txt" using 1:2 title "transactions_completed_shuliang  per  ten second" with lines
     # 从tpcc-graphic-data.txt文件中读取第一列和第二列作为X轴和Y轴数据,
     # 示例名"Total throughput"


tpcc-mysql  压力测试出图操作:

# tpcc-output-analyze.sh tpcc1000.log > tpcc-graphic-data.txt
# cat log.conf | gnuplot 

注意:gnulot安装时,不需要图形界面,你可以在服务器上安装后,再拉到本地,当然线上是不可能的了!




压力测试时,当然不能忘记使用其他方式统计qps,因为qp10s的波动有点大,(以下又是抄的高性能mysql中的内容,呵呵!)

#vim qps.sh

#!/bin/bash

INTERVAL=5
PREFIX=$INTERVAL-sec-status
RUNFILE=/tmp/running
mysql -e ‘SHOW GLOBAL VARIABLES‘ >> mysql-variables
while test -e $RUNFILE;do
	file=$(date  +%F_%I)
	sleep=$(date +%s.%N |awk "{print $INTERVAL - (\$1 % $INTERVAL)}")
	sleep $sleep	
	ts="$(date   +"TS %s.%N %F %T")"
	loadavg="$(uptime)"

	echo "$ts $loadavg" >> $PREFIX-${file}-status
	mysql -e ‘SHOW GLOBAL STATUS‘ >> $prefix-${file}-status &

	echo "$ts $loadavg" >> $PREFIX-${file}-innodbstatus
	mysql -e ‘SHOW ENGINE INNODB STATUS\G‘ >> $PREFIX-${file}-innodb-status &
	
	echo "$ts $loadavg" >> $PREFIX-${file}-processlist
	mysql -e ‘SHOW FULL PROCESSLIST\G‘ >> $PREFIX-${file}-processlist &
	
	echo $ts
done

echo Exiting because $RUNFILE does not exist


正如作者所言,注意这里的sleep的技巧!


下面是qps分析脚本:

# vim fenxi.sh

#!/bin/bash

awk ‘
	BEGIN	{
		printf "#ts date time load QPS";
		fmt	= "%.2f";
	}
	/^TS/	{ # The timestamp lines begin with TS.
		ts	= substr($2,1,index($2,"." - 1);
		load	= NF - 2;
		diff	= ts - prev_ts;
		prev_ts	= ts;
		
		printf "\n%s %s %s %s", ts, $3, $4, substr($load, 1, length($load)-1);
	}
	/Queries/ {
		printf fmt, ($2-Queries)/diff;
		Queries	= $2
	}

	‘ "$@"















本文出自 “Go right on” 博客,请务必保留此出处http://caduke.blog.51cto.com/3365689/1657450

tpcc-mysql 对percona5.6进行压力测试

标签:mysql tpcc-mysql

原文地址:http://caduke.blog.51cto.com/3365689/1657450

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!