美文网首页
fio进行磁盘压力测试

fio进行磁盘压力测试

作者: pandazhong | 来源:发表于2018-11-28 20:46 被阅读0次

    fio可以用来测试磁盘IO

    常用的参数如下:

    filename=/dev/emcpowerb 支持文件系统或者裸设备,-filename=/dev/sda2或-filename=/dev/sdb

    direct=1                测试过程绕过机器自带的buffer,使测试结果更真实

    rw=randwread            测试随机读的I/O

    rw=randwrite            测试随机写的I/O

    rw=randrw                测试随机混合写和读的I/O

    rw=read                  测试顺序读的I/O

    rw=write测试顺序写的I/O

    rw=rw                    测试顺序混合写和读的I/O

    bs=4k                    单次io的块文件大小为4k

    bsrange=512-2048        同上,提定数据块的大小范围

    size=5g                  本次的测试文件大小为5g,以每次4k的io进行测试

    numjobs=30              本次的测试线程为30

    runtime=1000            测试时间为1000秒,如果不写则一直将5g文件分4k每次写完为止

    ioengine=psync          io引擎使用pync方式,如果要使用libaio引擎,需要yum install libaio-devel包

    rwmixwrite=30在混合读写的模式下,写占30%group_reporting          关于显示结果的,汇总每个进程的信息

    此外

    lockmem=1g              只使用1g内存进行测试

    zero_buffers            用0初始化系统buffer

    nrfiles=8每个进程生成文件的数量

    测试:

    测试随即读:

    fio -filename=/home/intellif/pandaTest -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=4k -size=10G -numjobs=50 -runtime=180 -group_reporting -name=rand_100read_4k

    输出如下:

    输出结果

    输出结果的说明:

    read列,io表明读写磁盘的数据量。bw代表磁盘的带宽,随即读还是很慢的,大约5M/s(和此前自己认为的相差甚远),iops是每秒的io数量,runt是总共花费的时间。

    lat(usec),代表io的延迟,单位是纳秒,250=0.02%,表示有0.02%的io花费了250ns

    lat(msec0,代表延迟,单位是毫秒,2=0.24%表示有0.24的io花费了3ms,

    大部分磁盘随机读的io在10-100ms之间。

    其他的输出,现在还不知道什么意思,以后再研究。

    测试随即写:

    fio -filename=/home/intellif/pandaTest -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=10G -numjobs=50 -runtime=180 -group_reporting -name=rand_100write_4k

    输出如下:

    测试结果

    随即写的话速率更低,4.4M/秒。

    顺序读的测试如下:

    fio -filename=/home/intellif/pandaTest -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=4k -size=10G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100read_4k

    输出如下:

    测试结果

    顺序读达到了848M/秒!!!!没有那么夸张吧,大部分读只需要2ns!!!!!!!!!!!!!!!!难道用到了预读,缓存这些???

    顺序写的测试如下:

    fio -filename=/home/intellif/pandaTest -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=4k -size=10G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100write_4k

    输出如下:

    输出结果

    顺序写的带宽在25M/s左右,和顺序读的速率差别太大了吧。

    100%随机,70%读,30%写

    fio -filename=/home/intellif/pandaTest -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=4k -size=10G -numjobs=50 -runtime=180 -group_reporting -name=randrw_70read_4k

    输出结果如下:

    测试结果

    随机的话读写速度都不咋地。

    io=执行了多少M的IO

    bw=平均IO带宽

    iops=IOPS

    runt=线程运行时间

    slat=提交延迟

    clat=完成延迟

    lat=响应时间

    bw=带宽

    cpu=利用率

    IO depths=io队列

    IO submit=单个IO提交要提交的IO数

    IO complete=Like the above submit number, but for completions instead.

    IO issued=The number of read/write requests issued, and how many of them were short.

    IO latencies=IO完延迟的分布

    io=总共执行了多少size的IO

    aggrb=group总带宽

    minb=最小.平均带宽.

    maxb=最大平均带宽.

    mint=group中线程的最短运行时间.

    maxt=group中线程的最长运行时间.

    ios=所有group总共执行的IO数.

    merge=总共发生的IO合并数.

    ticks=Number of ticks we kept the disk busy.

    io_queue=花费在队列上的总共时间.

    util=磁盘利用率

    4、扩展之IO队列深度

    在某个时刻,有N个inflight的IO请求,包括在队列中的IO请求、磁盘正在处理的IO请求。N就是队列深度。

    加大硬盘队列深度就是让硬盘不断工作,减少硬盘的空闲时间。

    加大队列深度 -> 提高利用率 -> 获得IOPS和MBPS峰值 ->注意响应时间在可接受的范围内,

    增加队列深度的办法有很多,使用异步IO,同时发起多个IO请求,相当于队列中有多个IO请求,多线程发起同步IO请求,相当于队列中有多个IO请求。

    增大应用IO大小,到达底层之后,会变成多个IO请求,相当于队列中有多个IO请求 队列深度增加了。

    队列深度增加了,IO在队列的等待时间也会增加,导致IO响应时间变大,这需要权衡。

    为何要对磁盘I/O进行并行处理呢?主要目的是提升应用程序的性能。这一点对于多物理磁盘组成的虚拟磁盘(或LUN)显得尤为重要。

    如果一次提交一个I/O,虽然响应时间较短,但系统的吞吐量很小。

    相比较而言,一次提交多个I/O既缩短了磁头移动距离(通过电梯算法),同时也能够提升IOPS。

    假如一部电梯一次只能搭乘一人,那么每个人一但乘上电梯,就能快速达到目的地(响应时间),但需要耗费较长的等待时间(队列长度)。

    因此一次向磁盘系统提交多个I/O能够平衡吞吐量和整体响应时间。

    Linux系统查看默认队列深度:

    lsscsi -l

    相关文章

      网友评论

          本文标题:fio进行磁盘压力测试

          本文链接:https://www.haomeiwen.com/subject/xcgzqqtx.html