MySQL:脏页刷盘

什么是脏页?

InnoDB在处理更新语句时,先写内存再写redo log,并不会立即将数据页的更新落地到磁盘(WAL机制),这就会产生升内存数据页和磁盘数据页的数据不一致的情况,这种数据不一致的数据页称为脏页,当脏页写入到磁盘(这个操作称为flush)后,数据一致后称为干净页。

什么时候会flush脏页?

  1. redo log写满
    redo log大小是固定的,写完后会循环覆盖写入。当有新的内容要写入时,系统必须停止所有的更新操作,将checkpoint向前推进到新的位置,但是在推进之前必须将覆盖部分的所有脏页都flush到磁盘上。


  2. 内存不足需要淘汰数据页
    当系统内存不足,又有新的数据页要更新,就需要淘汰一些数据页,如果淘汰的是脏页,就需要flush到磁盘(如果是干净页就直接释放出来复用)。

  3. 系统空闲的时候后台会定期flush适量的脏页到磁盘

  4. MySQL正常关闭(shut down)时会把所有脏页都flush到磁盘

flush对系统性能的影响

第3种是系统空闲不会有性能问题,第4种是要关闭了不考虑性能问题。第1和2的情况flush脏页会产生系统性能问题。

redo log写满

此时整个系统不能再更新了,更新数会降为0,所以这种情况要尽量避免。

内存不够

InnoDB缓冲池(buffer pool)中的内存页有三种状态:

  • 未使用的空闲内存
  • 使用了为脏页
  • 使用了未干净页

当一个SQL语句要淘汰的脏页数量太多,会导致语句执行的响应时间显著边长。

flush速度控制策略

InnoDB为了避免出现上述两种情况,需要有控制脏页比例的策略,控制的主要参考因素就是:脏页比例和redo log写盘速度。

磁盘的IO能力

需要告诉InnoDB的磁盘读写能力(IOPS)让引擎全力flush脏页,磁盘的IOPS可以通过fio工具测试。

 fio -filename=$filename -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=500M -numjobs=10 -runtime=10 -group_reporting -name=mytest 

如果innodb_io_capacity参数设置的不合理,比如远远低于磁盘实际的IOPS,InnoDB会认为IO性能低,刷脏页速度会很慢,甚至低于脏页的生成速度,导致脏页累计影响查询和更新性能。

速度计算流程

为了兼顾正常的业务请求,InnoDB引擎控制按照磁盘IOPS的百分比来刷脏页,具体流程如下:

  1. 参数innodb_max_dirty_pages_pct控制脏页比例上限,默认75%。InnoDB根据当前脏页比例(设为M),计算出一个0~100的数字F1(M),伪代码如下
def F1(M):
    if M >= innodb_max_dirty_pages_pct:
        return 100
    return 100 * M / innodb_max_dirty_pages_pct
  1. InnoDB每次写入的日志都有一个序号,当前写入的序号跟checkpoint对应的需要之间的差值设为N,根据N计算出一个0~100的数值F2(N),N越大F2(N)越大
  2. 根据前两步计算出的两个值取较大值记为R,然后InnoDB会根据innodb_io_capacity设置的磁盘IOPS能力乘以R%来控制刷脏页的速度

脏页比例计算:
Innodb_buffer_pool_pages_dirty/Innodb_buffer_pool_pages_total
SQL语句如下:

select VARIABLE_VALUE into @a from global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_dirty';
select VARIABLE_VALUE into @b from global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_total';
select @a/@b;

连锁flush

在准备flush一个脏页时,如果相邻的数据页也是脏页,会把这个脏页一起flush,而且对这个新的脏页还可能有相邻的脏页导致连锁flush。
InnoDB使用innodb_flush_neighbors参数控制这个行为,值为1会产生上述连锁flush的情况,值为0则不会找相邻页。

找相邻页flush的机制虽然可以减少很多随机IO,但会增加一次flush时间,导致flush时的SQL语句执行时间变慢。

现在基本都使用的SSD这种IOPS比较高的硬盘,建议将innodb_flush_neighbors参数设为0,提高flush的速度。

总结

flush会占用IO资源影响了正在执行的SQL语句,本来正常情况下执行很快的一条语句,突然耗时大大增加,造成业务抖动。要尽量避免这种情况,需要合理的设置innodb_io_capacity的值,并且多关注脏页比例,不要让脏页比例经常接近75%。

参考资料

【极客时间】MySQL实战45讲:第12节

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容