标签：iostat
一、iostat背景是我们在进行大量的数据更新操作，以此来查看磁盘的状态情况。
我们查看磁盘IO，也主要是通过iostat 这个命令来进行查看。
iostat -d -k 1 5 -d 表示，显示设备（磁盘）使用状态，去掉可以和CPU状态一起显示；
-k某些使用block为单位的列强制使用Kilobytes为单位，改为-m（以MB为单位展示）；
1 5表示，数据显示每隔1秒刷新一次，共显示10次。
[root@olap02 ~]# iostat -d -k 1 5
Linux 3.10.0-514.el7.x86_64 06/09/2018 _x86_64_ (32 CPU)
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 10.53 319.13 488.33 8783422264 13440316927
dm-0 0.16 0.03 1.35 757398 37188411
dm-1 0.00 0.00 0.01 117580 301216
dm-2 10.41 319.10 486.97 8782517912 13402825288
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 1028.00 18624.00 71374.50 18624 71374
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 1033.00 19392.00 71630.50 19392 71630
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 854.00 24464.00 70580.50 24464 70580
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 855.00 23696.00 70674.00 23696 70674
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 849.00 13312.00 87219.50 13312 87219
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 876.00 14336.00 87750.00 14336 87750
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 770.00 19456.00 70206.50 19456 70206
dm-0 0.00 0.00 0.00 0 0
dm-1 0.00 0.00 0.00 0 0
dm-2 745.00 19456.00 69771.00 19456 69771kB_read/s：每秒从设备（drive expressed）读取的数据量；
kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
kB_read：读取的总数据量；
kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。
[root@olap02 ~]# iostat -d -x -k 1
Linux 3.10.0-514.el7.x86_64 06/09/2018 _x86_64_ (32 CPU)
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.04 6.07 4.47 319.23 488.61 153.32 0.01 1.12 1.05 1.23 0.33 0.35
dm-0 0.00 0.00 0.00 0.16 0.03 1.35 17.12 0.00 0.19 1.78 0.17 0.03 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.01 8.01 0.00 0.43 0.42 0.43 0.03 0.00
dm-2 0.00 0.00 6.06 4.35 319.20 487.25 154.87 0.01 1.14 1.05 1.28 0.34 0.35
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 10.00 467.00 2080.00 10256.00 51.72 155.43 342.20 334.70 342.36 2.10 100.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 7.00 489.00 1312.00 11232.00 50.58 160.96 339.23 614.29 335.29 2.02 100.00
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 6.00 343.00 1056.00 10408.00 65.70 146.90 374.37 300.83 375.65 2.87 100.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 8.00 322.00 1808.00 6704.00 51.59 152.25 407.81 336.75 409.57 3.03 100.00
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 8.00 429.00 2048.00 4576.00 30.32 146.42 341.64 278.25 342.82 2.29 100.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 5.00 448.00 1280.00 7992.00 40.94 150.86 340.85 623.60 337.69 2.21 100.00
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 4.00 447.00 1024.00 10622.00 51.65 146.52 336.33 506.50 334.81 2.22 100.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 5.00 454.00 1040.00 11302.00 53.78 151.71 340.31 464.20 338.94 2.18 100.00
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 7.00 435.00 1072.00 13248.00 64.80 146.15 351.56 252.86 353.15 2.26 100.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 11.00 416.00 1856.00 9192.00 51.75 152.02 378.61 290.09 380.95 2.34 100.00可以看到磁盘的平均响应时间>300ms，磁盘使用率>100。磁盘响应不正常，IO已经满负载了。
rrqm/s: 每秒进行 merge 的读操作数目.即 delta(rmerge)/s
wrqm/s: 每秒进行 merge 的写操作数目.即 delta(wmerge)/s
r/s: 每秒完成的读 I/O 设备次数.即 delta(rio)/s
w/s: 每秒完成的写 I/O 设备次数.即 delta(wio)/s
rsec/s: 每秒读扇区数.即 delta(rsect)/s
wsec/s: 每秒写扇区数.即 delta(wsect)/s
rkB/s: 每秒读K字节数.是 rsect/s 的一半,因为每扇区大小为512字节.(需要计算)
wkB/s: 每秒写K字节数.是 wsect/s 的一半.(需要计算)
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区).delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O队列长度.即 delta(aveq)/s/1000 (因为aveq的单位为毫秒).
await: 平均每次设备I/O操作的等待时间 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次设备I/O操作的服务时间 (毫秒).即 delta(use)/delta(rio+wio)
%util: 一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的.即 delta(use)/s/1000 (因为use的单位为毫秒)
如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘可能存在瓶颈。
idle小于70% IO压力就较大了,一般读取速度有较多的wait.
CPU的负载很低，磁盘接近100%，所以说大量的数据库更新操作瓶颈在于磁盘IO。
如果svctm 比较接近await，说明I/O 几乎没有等待时间；
如果await 远大于svctm，说明I/O队列太长，应用得到的响应时间变慢
举一个例子，我们在超市排队 checkout 时，怎么决定该去哪个交款台呢? 首当是看排的队人数，5个人总比20人要快吧?除了数人头，我们也常常看看前面人购买的东西多少，如果前面有个采购了一星期食品的大妈，那么可以考虑换个队排了。还有就是收银员的速度了，如果碰上了连钱都点不清楚的新手，那就有的等了。另外，时机也很重要，可能 5分钟前还人满为患的收款台，现在已是人去楼空，这时候交款可是很爽啊，当然，前提是那过去的 5 分钟里所做的事情比排队要有意义(不过我还没发现什么事情比排队还无聊的)。
I/O 系统也和超市排队有很多类似之处：
r/s+w/s 类似于交款人的总数
平均队列长度(avgqu-sz)类似于单位时间里平均排队人的个数
平均服务时间(svctm)类似于收银员的收款速度
平均等待时间(await)类似于平均每人的等待时间
平均I/O数据(avgrq-sz)类似于平均每人所买的东西多少
I/O 操作率 (%util)类似于收款台前有人排队的时间比例。
我们可以根据这些数据分析出 I/O 请求的模式，以及 I/O 的速度和响应时间。
下面是别人写的这个参数输出的分析：
[root@olap02 ~]# iostat -x -m 1
Linux 3.10.0-514.el7.x86_64 06/09/2018 _x86_64_ (32 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
3.64 0.00 3.95 6.15 0.00 86.25
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 923.00 20.00 290.00 20.00 9.70 0.16 65.08 1.21 3.91 3.62 8.05 3.19 98.90上面的 iostat 输出表明秒有 310 次设备 I/O 操作: 总IO(io)/s = r/s(读) +w/s(写) = 290+20 = 310 (次/秒) 其中写操作占了主体 (w:r = 29:2)。
平均每次设备 I/O 操作只需要 5ms 就可以完成，但每个I/O 请求却需要等上 78ms，为什么? 因为发出的 I/O 请求太多 (每秒钟约29 个)，假设这些请求是同时发出的，那么平均等待时间可以这样计算:
平均等待时间 = 单个I/O 服务时间 ( 1 + 2 + ... + 请求总数-1) / 请求总数
应用到上面的例子: 平均等待时间 = 5ms (1+2+...+28)/29 = 70ms，和 iostat 给出的78ms 的平均等待时间很接近。这反过来表明 I/O 是同时发起的。
每秒发出的 I/O 请求很多 (约29 个)，平均队列却不长 (只有2 个左右)，这表明这 29 个请求的到来并不均匀，大部分时间 I/O是空闲的。
一秒中有 14.29% 的时间 I/O 队列中是有请求的，也就是说，85.71% 的时间里 I/O 系统无事可做，所有 29 个I/O 请求都在142毫秒之内处理掉了。
delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s=78.21 delta(io)/s = 78.2128.57 =2232.8，表明每秒内的I/O请求总共需要等待2232.8ms。所以平均队列长度应为 2232.8ms/1000ms = 2.23，而iostat 给出的平均队列长度(avgqu-sz) 却为22.35，为什么?因为iostat 中有bug，avgqu-sz值应为2.23，而不是22.35。
※附带说明下，我用iostat对服务器检测时，一般用iostat -d命令；而返回的结果，我关注的一般是tps、blk_read/s、blk_wrth/s这三项，我一般是拿三台不同型号的服务器在相同环境下作对比测试，这样性能上的差异，一下子就出来了。
标签：iostat
原文地址：http://blog.51cto.com/wzlinux/2126636
