美文网首页
MySQL 业务压测分析如何做

MySQL 业务压测分析如何做

作者: Secret_Sun | 来源:发表于2020-08-12 00:32 被阅读0次

想法来源

平时都会遇到一个问题就是不知道怎么做数据库自己的 PPE,但是业务又天天有问题,还无法知道如何提前预判,DBA 是不是很累,业务是不是很惨,是不是应该思考如何解决这个问题。(一堆没用的废话,坚持 DBA 需要强研发能力,而不是简单的脚本)

解题思路

云上托管 MySQL (RDS),其实已经可以完整的获取所有读写SQL,并提供了完善的api,阿里云可以基于全量SQL,AWS 可以基于 MariaDB audit plug-in。小米的 Soar,还有一堆原来大家都晓得的测试工具,RDS 基于 api 创建销毁即可。那是不是想要快速实现一套压测环境并不是一件很难的事情。
依靠云上api 快速获取问题SQL & 表,靠 Soar 抽样 Or 全量同步到测试环境,最后依靠压测工具开始测试,这样全部基于业务场景的测试其实才是最有意义且对于业务最有帮助的(基准测试都是用来学习 Or 硬件选型的)

MySQL 压测工具

Soar Sampling

The following choice of minrows is based on the paper
"Random sampling for histogram construction: how much is enough?"
by Surajit Chaudhuri, Rajeev Motwani and Vivek Narasayya, in
Proceedings of ACM SIGMOD International Conference on Management
of Data, 1998, Pages 436-447.  Their Corollary 1 to Theorem 5
says that for table size n, histogram size k, maximum relative
error in bin size f, and error probability gamma, the minimum
random sample size is
     r = 4 * k * ln(2*n/gamma) / f^2
Taking f = 0.5, gamma = 0.01, n = 10^6 rows, we obtain
     r = 305.82 * k
Note that because of the log function, the dependence on n is
quite weak; even at n = 10^12, a 300*k sample gives <= 0.66
bin size error with probability 0.99.  So there's no real need to
scale for n, which is a good thing because we don't necessarily
know it at this point.

mydbtest 马甲

本人比较喜欢的一个工具,C 实现 1个 cpu 压死一个 mysql,但是这个东西纯命令行需要自己包装一层,如下为实现 Demo (有一个小页面就不贴了,代码烂,各位忍住)

func upload(w http.ResponseWriter, r *http.Request) {
    //判断请求方式
    if r.Method == "POST" {
        //设置内存大小
        r.ParseMultipartForm(32 << 20)
        //获取上传的第一个文件
        file, header, err := r.FormFile("file")
        defer file.Close()
        if err != nil {
            log.Fatal(err)
        }

        //获取表单中degree
        degree := r.PostFormValue("degree")
        if err != nil {
            log.Fatal(err)
        }

        //创建上传目录
        os.Mkdir("./upload", os.ModePerm)
        //创建上传文件
        cur, err := os.Create("./upload/" + header.Filename)
        defer cur.Close()
        if err != nil {
            log.Fatal(err)
        }
        //把上传文件数据拷贝到我们新建的文件
        io.Copy(cur, file)

        //mydbtest_linux64.bin query=insert.cnf degree=8
        cmdString := fmt.Sprint("./mydbtest_linux64.bin query=./upload/", header.Filename, " degree=", degree)
        cmd := exec.Command("bash", "-c", cmdString)
        go func() {
            err := cmd.Start()
            if err != nil {
                log.Fatal(err)
            }
            log.Printf("Waiting for command to finish...")
        }()
    } else {
        //解析模板文件
        t, _ := template.ParseFiles("./upload.html")
        //输出文件数据
        t.Execute(w, nil)
    }
}

// curl -X POST -H 'Content-Type: multipart/form-data' -F 'file=@test.txt' -F 'degree=88' http://127.0.0.1:9090/upload

func main() {
    http.HandleFunc("/upload", upload)
    err := http.ListenAndServe(":23334", nil)
    if err != nil {
        log.Fatal(err)
    }
}

dbtest control

设计图

Ps. 全部自行实现周期太长,比较喜欢把现有工具做好串联打通。

相关文章

  • MySQL 业务压测分析如何做

    想法来源 平时都会遇到一个问题就是不知道怎么做数据库自己的 PPE,但是业务又天天有问题,还无法知道如何提前预判,...

  • jmeter压测数据库

    jmeter压测数据库 JDBC request压测MysqL讲解 简介:讲解jdbc压测mysqL相关准备工作,...

  • 压测工具locust与集成goland boomer对比

    背景: 参考专题,压测业务需求分析,本章节主要是压测框架选型对比。 需要在 下面两种选择中,做出抉择: m...

  • 并发模式与 RPS 模式之争,性能压测领域的星球大战

    本文是《如何做好性能压测》系列专题分享的第四期,该专题将从性能压测的设计、实现、执行、监控、问题定位和分析、应用场...

  • 性能压测学习大纲

    一、压测的目的 二、压测的完整流程 三、压测场景分析/组织测试脚本 四、压测数据准备 五、压测指标监控 七、压测结...

  • 流量录制,基于常态化压测

    简介 常态化压测、业务压测、集群压测、全链路压测、等基于特定需求的对后台接口进行的并发式请求,接口自动化压测数据的...

  • k8s网络TPS不稳定测试集合

    前提介绍 在工作中配合压测同事对业务压测发现一些问题,使用NodePort做业务暴漏,压测的TPS周期性波动,看了...

  • 无标题文章

    作业: 1.用sysbench压测MySQL,通过orzdba监控工具分析机器的容量,容量指标如下:LOAD/CP...

  • mysql压测

    为了试验mysql连接数与并发数的最大连接数,从500、1000、1500到2000逐步压测,并观察cpu与时延,...

  • 一,性能方案设计

    一,需求分析与测试设计 根据具体的性能测试需求,确定测试类型以及压测模块(web/mysql/redis/系统整体...

网友评论

      本文标题:MySQL 业务压测分析如何做

      本文链接:https://www.haomeiwen.com/subject/reiudktx.html