连接池如何固定住 MySQL 的连接数

原文地址:https://alphahinex.github.io/2021/09/19/how-to-fix-connection-pool-size-in-mysql/

cover

description: "正确使用连接池的 keep alive"
date: 2021.09.19 10:34
categories:
- Database
tags: [Database, Connection Pools]
keywords: fixed size, connection pool, HikariCP, druid, MySQL, wait_timeout, KeepAlive


连接池

为什么要用连接池

相比于 SQL 执行的时间(不考虑慢 SQL),创建数据库连接的操作可谓相当昂贵,频繁的打开和关闭数据库连接,会导致系统性能非常低下。连接池可以缓存已经创建的连接,在需要连接时,从连接池中获取一个空闲连接,在使用过后将连接归还连接池。

关于连接池的大小应该如何设置,可以参考 关于数据库连接池,你可能做错了

使用连接池时期望的行为

  • 配置固定数目连接池后,数据库中连接数目能保持不变
  • 数据库重启后,连接池能帮助应用自动重新创建好连接

MySQL

wait_timeout

MySQL 的 wait_timeout 变量用来控制 MySQL 主动关闭空闲连接的时间,单位秒,默认 8 小时。

为了实验方便,将此值改为 35 秒,可通过启动参数或配置文件进行指定,或使用此 docker-compose.yml 文件启动 MySQL。

$ docker-compose up -d mysql

此时创建的数据库连接,在空闲超过 35 秒时会被 MySQL 主动关闭:

wait-timeout.png

在这种情况下,当前主流的 Java 连接池如何保证连接池数量固定

HikariCP

使用 HikariCP 的默认配置,如在 HikariCP Demo 中执行 ./gradlew bootRun,观察连接数变化情况:

hikari-default.png

可以看到,虽然 HikariCP 默认的配置minimumIdle = maximumPoolSize = 10,但在超过 wait_timeout 设置的时间后,数据库连接被关闭了,并且连接池没有再将 minimumIdle 数目的连接建立起来。

这时数据库如果发生了重启,连接池也同样不会主动建立连接。

在 MySQL Connector/J 中,有一个 autoReconnect 属性,可以加到 jdbc 连接串上,但这个属性并不会改变上述的情况,并且官方也并不建议启用这个属性。

结论1:HikariCP 在默认配置下,两个期望行为均不能保证。

HikariCP 提供了一个 keepaliveTime 参数,来主动尝试保持连接可用:

⏳keepaliveTime

This property controls how frequently HikariCP will attempt to keep a connection alive, in order to prevent it from being timed out by the database or network infrastructure. This value must be less than the maxLifetime value. A "keepalive" will only occur on an idle connection. When the time arrives for a "keepalive" against a given connection, that connection will be removed from the pool, "pinged", and then returned to the pool. The 'ping' is one of either: invocation of the JDBC4 isValid() method, or execution of the connectionTestQuery. Typically, the duration out-of-the-pool should be measured in single digit milliseconds or even sub-millisecond, and therefore should have little or no noticible performance impact. The minimum allowed value is 30000ms (30 seconds), but a value in the range of minutes is most desirable. Default: 0 (disabled)

让我们加上这个参数:

$ diff src/main/resources/application.properties src/main/resources/application-keepalive.properties
4c4,6
< spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver
\ No newline at end of file
---
> spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver
>
> spring.datasource.hikari.keepalive-time=30000
\ No newline at end of file

启动应用:

$ ./gradlew bootRun -Pprofile=keepalive

再观察一下效果:

HikariCP keepalive

MySQL 重启之后:

HikariCP after restart

结论2:HikariCP 在启用 keepaliveTime 配置后,两个期望行为均能完美保证。

注意:根据 HikariCP 文档描述,keepaliveTime 默认不启用,允许设置的最小值是 30 秒,但建议设置到分钟级别,另外还需综合考虑数据库超时、重启或网络问题导致的连接中断,也不宜设置到小时级别。

Druid

类似的,我们可以通过 Druid Demo 来观察 Druid 连接池的行为。

先以默认配置启动应用:

$ ./gradlew bootRun

在默认配置中,同样使用了固定尺寸(initial-size = max-active = min-idle = 10)的连接池:

Druid default configuration

重启 MySQL 同样不会主动创建连接。

结论1:Druid 在默认配置下,两个期望行为均不能保证。

在 Druid 的 DruidDataSource配置属性列表 中,我们同样找到了 keepAlive 属性,默认也是未开启的:

配置 缺省值 说明
keepAlive false(1.0.28) 连接池中的minIdle数量以内的连接,空闲时间超过minEvictableIdleTimeMillis,则会执行keepAlive操作。

然而按照文档中描述的与 keepAlive 属性相关的值进行设置:

spring.datasource.druid.min-idle=10
spring.datasource.druid.keep-alive=true
spring.datasource.druid.min-evictableIdle-time-millis=30000

依然无法保持数据库中固定的连接数。

在 Druid 的最新发布版 1.2.6 中,提到:

修复连接池在MySQL服务器主动连接断开时keepAlive机制失效的问题 #4227

不过按照上述配置依然无效。

经过反复测试,keepalive 机制的生效,除将 keepAlive 设置为 true 外,还需添加一个文档中并未描述的隐藏属性 keepAliveBetweenTimeMillis(最小值为 30000)。另外为了匹配 wait_timeout,将 timeBetweenEvictionRunsMillis 的值从默认一分钟调小:

spring.datasource.druid.keep-alive=true
spring.datasource.druid.keep-alive-between-time-millis=30000
spring.datasource.druid.time-between-eviction-runs-millis=15000

观察此配置下连接数情况:

$ ./gradlew bootRun -Pprofile=keepalive
Druid keepalive

相比 HikariCP,keepAlive 相关属性的定义略显混乱,理解和配置起来难度也更大。

虽然能维持住连接了,但对比 HikariCP 的直线,Druid 的连接数显得有些波动。当遇到 MySQL 重启时,波动更为明显:

Druid after restart

结论2:Druid 在启用 keepAlive 相关配置后,能够主动维持连接数,但在遇到 MySQL 重启等中断情况时,连接数的保持不是很稳定,需要根据实际环境的配置进行具体调整,才能达到理想的状态。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容