MySQL 业务压测分析如何做

想法来源

平时都会遇到一个问题就是不知道怎么做数据库自己的 PPE，但是业务又天天有问题，还无法知道如何提前预判，DBA 是不是很累，业务是不是很惨，是不是应该思考如何解决这个问题。（一堆没用的废话，坚持 DBA 需要强研发能力，而不是简单的脚本）

解题思路

云上托管 MySQL (RDS)，其实已经可以完整的获取所有读写SQL，并提供了完善的api，阿里云可以基于全量SQL，AWS 可以基于 MariaDB audit plug-in。小米的 Soar，还有一堆原来大家都晓得的测试工具，RDS 基于 api 创建销毁即可。那是不是想要快速实现一套压测环境并不是一件很难的事情。
依靠云上api 快速获取问题SQL & 表，靠 Soar 抽样 Or 全量同步到测试环境，最后依靠压测工具开始测试，这样全部基于业务场景的测试其实才是最有意义且对于业务最有帮助的（基准测试都是用来学习 Or 硬件选型的）

MySQL 压测工具

sysbench 大家都知道的好东西
mydbtest 平民软件开发的一款 C 语言的 SQL 压测工具
golang-sql-benchmark 可以借鉴之后基于 Go 实现一个自己的

Soar Sampling

计算公式：Cardinality = ColumnDistinctCount/TableTotalRows * 100%
数据采样算法：PostgreSQL 数据直方图采样算法
soar 实现代码：sampling.go

The following choice of minrows is based on the paper
"Random sampling for histogram construction: how much is enough?"
by Surajit Chaudhuri, Rajeev Motwani and Vivek Narasayya, in
Proceedings of ACM SIGMOD International Conference on Management
of Data, 1998, Pages 436-447.  Their Corollary 1 to Theorem 5
says that for table size n, histogram size k, maximum relative
error in bin size f, and error probability gamma, the minimum
random sample size is
     r = 4 * k * ln(2*n/gamma) / f^2
Taking f = 0.5, gamma = 0.01, n = 10^6 rows, we obtain
     r = 305.82 * k
Note that because of the log function, the dependence on n is
quite weak; even at n = 10^12, a 300*k sample gives <= 0.66
bin size error with probability 0.99.  So there's no real need to
scale for n, which is a good thing because we don't necessarily
know it at this point.

mydbtest 马甲

本人比较喜欢的一个工具，C 实现 1个 cpu 压死一个 mysql，但是这个东西纯命令行需要自己包装一层，如下为实现 Demo （有一个小页面就不贴了，代码烂，各位忍住）

func upload(w http.ResponseWriter, r *http.Request) {
    //判断请求方式
    if r.Method == "POST" {
        //设置内存大小
        r.ParseMultipartForm(32 << 20)
        //获取上传的第一个文件
        file, header, err := r.FormFile("file")
        defer file.Close()
        if err != nil {
            log.Fatal(err)
        }

        //获取表单中degree
        degree := r.PostFormValue("degree")
        if err != nil {
            log.Fatal(err)
        }

        //创建上传目录
        os.Mkdir("./upload", os.ModePerm)
        //创建上传文件
        cur, err := os.Create("./upload/" + header.Filename)
        defer cur.Close()
        if err != nil {
            log.Fatal(err)
        }
        //把上传文件数据拷贝到我们新建的文件
        io.Copy(cur, file)

        //mydbtest_linux64.bin query=insert.cnf degree=8
        cmdString := fmt.Sprint("./mydbtest_linux64.bin query=./upload/", header.Filename, " degree=", degree)
        cmd := exec.Command("bash", "-c", cmdString)
        go func() {
            err := cmd.Start()
            if err != nil {
                log.Fatal(err)
            }
            log.Printf("Waiting for command to finish...")
        }()
    } else {
        //解析模板文件
        t, _ := template.ParseFiles("./upload.html")
        //输出文件数据
        t.Execute(w, nil)
    }
}

// curl -X POST -H 'Content-Type: multipart/form-data' -F 'file=@test.txt' -F 'degree=88' http://127.0.0.1:9090/upload

func main() {
    http.HandleFunc("/upload", upload)
    err := http.ListenAndServe(":23334", nil)
    if err != nil {
        log.Fatal(err)
    }
}

dbtest control

设计图

Ps. 全部自行实现周期太长，比较喜欢把现有工具做好串联打通。

最后编辑于：2020.09.03 22:17:33