美文网首页
07 生产经验:如何对生产环境中的数据库进行360度无死角压测?

07 生产经验:如何对生产环境中的数据库进行360度无死角压测?

作者: 呢看了看 | 来源:发表于2020-12-02 10:30 被阅读0次

            如果一个交易系统拆分为了很多服务,那么每个服务每秒接收的并发请求是QPS还是TPS呢?

            这个明显是QPS,因为每个服务就负责干自己的一些事儿,其实对他来说,每秒并发请求数量就是QPS。

            那么对于多个服务组成的一个大的交易系统而言,这个交易系统每秒可以完成多少笔交易,这是QPS还是TPS呢?

            其实这个你可以认为是TPS的概念,因为一笔交易需要调用多个服务来完成,所以一笔交易的完成其实就类似数据库里的一个事务,他涵盖了很多服务的请求调用,所以每秒完成多少笔交易,你可以用TPS来形容。

    【1】一款非常好用的数据库压测工具 -- sysbench

        这个工具可以自动帮你在数据库里构造出来大量的数据,你想要多少数据,他就自动给你构造出来多少条数据。

        然后这个工具接着可以模拟几千个线程并发的访问你的数据库,模拟使用各种各样的SQL语句来访问你的数据库,包括模拟出来各种事务提交到你的数据库里去,甚至可以模拟出几十万的TPS去压测你的数据库。

    【2】在linux上安装sysbench工具

    curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

    sudo yum -y install sysbench

    sysbench --version

    如果上面可以看到sysbench的版本号,就说明安装成功了。

    【3】数据库压测的测试用例

            接着我们需要在自己的数据库里创建好一个测试库,我们可以取个名字叫做test_db,同时创建好对应的测试账号,可以叫做test_user,密码也是test_user,让这个用户有权限可以访问test_db。

    然后我们将要基于sysbench构建20个测试表,每个表里有100万条数据,接着使用10个并发线程去对这个数据库发起访问,连续访问5分钟,也就是300秒,然后对其进行压力测试。

    【4】基于sysbench构造测试表和测试数据

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare


    上面我们构造了一个sysbench命令,给他加入了很多的参数,现在我们来 解释一下这些参数,相信很多参数大家自己看到也就大致明白什么意思了:

    --db-driver=mysql:这个很简单,就是说他基于mysql的驱动去连接mysql数据库,你要是oracle,或者sqlserver,那自然就是其他的数据库的驱动了

    --time=300:这个就是说连续访问300秒

    --threads=10:这个就是说用10个线程模拟并发访问

    --report-interval=1:这个就是说每隔1秒输出一下压测情况

    --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user:这一大串,就是说连接到哪台机器的哪个端口上的MySQL库,他的用户名和密码是什么

    --mysql-db=test_db --tables=20 --table_size=1000000:这一串的意思,就是说在test_db这个库里,构造20个测试表,每个测试表里构造100万条测试数据,测试表的名字会是类似于sbtest1,sbtest2这个样子的

    oltp_read_write:这个就是说,执行oltp数据库的读写测试

    --db-ps-mode=disable:这个就是禁止ps模式

    最后有一个prepare,意思是参照这个命令的设置去构造出来我们需要的数据库里的数据,他会自动创建20个测试表,每个表里创建100万条测试数据,所以这个工具是非常的方便的。

    数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。 

    OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作; 

    OLAP 系统则强调数据分析,强调SQL执行市场,强调磁盘I/O,强调分区等。 

    【5】对数据库进行360度的全方位测试

    测试数据库的综合读写TPS,使用的是oltp_read_write模式(大家看命令中最后不是prepare,是run了,就是运行压测):

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=rm-m5e6o59x0731bhf5e5o.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=frankzhou_1031 --mysql-password=frankzhou_1031 --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run


    测试数据库的只读性能,使用的是oltp_read_only模式(大家看命令中的oltp_read_write已经变为oltp_read_only了):

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=rm-m5e6o59x0731bhf5e5o.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=frankzhou_1031 --mysql-password=frankzhou_1031 --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run


    测试数据库的删除性能,使用的是oltp_delete模式:

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_delete --db-ps-mode=disable run

    测试数据库的更新索引字段的性能,使用的是oltp_update_index模式:

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_index --db-ps-mode=disable run

    测试数据库的更新非索引字段的性能,使用的是oltp_update_non_index模式:

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run

    测试数据库的更新非索引字段的性能,使用的是oltp_update_non_index模式:

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run

    测试数据库的插入性能,使用的是oltp_insert模式:

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_insert --db-ps-mode=disable run

    测试数据库的写入性能,使用的是oltp_write_only模式:

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run

    使用上面的命令,sysbench工具会根据你的指令构造出各种各样的SQL语句去更新或者查询你的20张测试表里的数据,同时监测出你的数据库的压测性能指标,最后完成压测之后,可以执行下面的cleanup命令,清理数据。

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

    【6】压测结果分析

    按照我们上面的命令,我们是让他每隔1秒都会输出一次压测报告的,此时他每隔一秒会输出类似下面的一段东西:

    [ 22s ] thds: 10 tps: 380.99 qps: 7312.66 (r/w/o: 5132.99/1155.86/1321.35) lat (ms, 95%): 21.33 err/s: 0.00 reconn/s: 0.00

    我来给大家解释一下这是什么意思,首先他说的这是第22s输出的一段压测统计报告,然后是其他的一些统计字段:

    thds: 10,这个意思就是有10个线程在压测

    tps: 380.99,这个意思就是每秒执行了380.99个事务

    qps: 7610.20,这个意思就是每秒可以执行7610.20个请求

    (r/w/o: 5132.99/1155.86/1321.35),这个意思就是说,在每秒7610.20个请求中,有5132.99个请求是读请求,1155.86个请求是写请求,1321.35个请求是其他的请求,就是对QPS进行了拆解

    lat (ms, 95%): 21.33,这个意思就是说,95%的请求的延迟都在21.33毫秒以下

    err/s: 0.00 reconn/s: 0.00,这两个的意思就是说,每秒有0个请求是失败的,发生了0次网络重连

    这个压测结果会根据每个人的机器的性能不同有很大的差距,你要是机器性能特别高,那你可以开很多的并发线程去压测,比如100个线程,此时可能会发现数据库每秒的TPS有上千个,如果你的机器性能很低,可能压测出来你的TPS才二三十个,QPS才几百个,这都是有可能的。

    另外在完成压测之后,最后会显示一个总的压测报告,我把解释写在下面了:

    SQL statistics:

    queries performed:

    read: 1480084 // 这就是说在300s的压测期间执行了148万多次的读请求

    write: 298457 // 这是说在压测期间执行了29万多次的写请求

    other: 325436 // 这是说在压测期间执行了30万多次的其他请求

    total: 2103977 // 这是说一共执行了210万多次的请求

    // 这是说一共执行了10万多个事务,每秒执行350多个事务

    transactions: 105180( 350.6 per sec. )

    // 这是说一共执行了210万多次的请求,每秒执行7000+请求

    queries: 2103977 ( 7013.26 per sec. )

    ignored errors: 0 (0.00 per sec.)

    reconnects: 0 (0.00 per sec.)

    // 下面就是说,一共执行了300s的压测,执行了10万+的事务

    General staticstics:

    total time: 300.0052s

    total number of events: 105180

    Latency (ms):

    min: 4.32 // 请求中延迟最小的是4.32ms

    avg: 13.42 // 所有请求平均延迟是13.42ms

    max: 45.56 // 延迟最大的请求是45.56ms

    95th percentile: 21.33 // 95%的请求延迟都在21.33ms以内

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.44.131 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run

    相关文章

      网友评论

          本文标题:07 生产经验:如何对生产环境中的数据库进行360度无死角压测?

          本文链接:https://www.haomeiwen.com/subject/sjbvxktx.html