02 | 日志系统:一条SQL更新语句是如何执行的?(基础篇)

查询语句:经过连接器、分析器、优化器、执行器等功能模块,最后到达存储引擎。更新同样

表创建语句,主键 ID 和整型字段 c:mysql> create  table T(ID int primary key, c int);

将 ID=2 行值+ 1,:mysql> update  T set c=c+1 where ID=2;

MySQL的逻辑架构图

连接器:先连接数据库

分析器:通过词、语法解析知道这是更新语句。

优化器:决定用 ID 索引

执行器:找到这一行,更新。

与查询流程不同:更新流程还涉日志模块redo log(重做日志)和 binlog(归档日志,MySQL 可恢复到半个月内任意一秒)。

一、重要的日志模块:redo log

酒店掌柜粉板,记录客人赊账记录。赊账人不多写板上。人多记不下,写赊账账本。

还账:1.账本扣除掉;2.粉板记下,打烊后账本核算

生意红火时,先粉板记下。不用每次翻账本效率低

MySQL 里,每次更新都写进磁盘,磁盘找到对应记录再更新, IO 、查找成本都高。用了类似粉板思路提升效率。

WAL (Write-Ahead Logging):粉板、账本整个过程,先写日志,再写磁盘

更新时InnoDB 引擎把记录写到 redo log(粉板)更新内存,更新算完成。InnoDB 引擎空闲(系统比较时)时更新到磁盘

如果赊账特别多,粉板写满更新粉板部分到账本腾空间

InnoDB 的 redo log 固定大小,配置一组 4 个文件,每个1GB,“粉板”总共可以记录 4GB。写到末尾就又回到开头循环写,

write pos :当前记录的位置,边写边后移,写 3 号尾后就回0 号头。

checkpoint :当前要擦除的位置,后推移且循环,擦除前更新到数据文件。

write pos 和 checkpoint 之间:“粉板”空着部分。write pos 追上 checkpoint“粉板”满

redo log,保证InnoDB异常重启,之前提交记录不丢失,这个能力为crash-safe。停业恢复生意后,依然明确赊账账目。

二、重要的日志模块:binlog

MySQL 整体两块:Server (MySQL 功能层面);引擎层(存储)。redo log 是 InnoDB 引擎特有日志,Server 层日志为 binlog(归档日志)。

为什么会有两份日志呢?开始 MySQL 没有 InnoDB 。自带引擎 MyISAM(不能crash-safe,binlog也不能)。不同:

1. redo log  InnoDB 引擎特有binlog 所有引擎都可用

2.  redo log 物理日志,记录“某个数据页修改什么”;binlog 逻辑日志,语句原始逻辑,“给 ID=2 这行c 字段加 1 ”。

3.  redo log 循环写,空间固定会用完;binlog 可追加写。写到一定大小后会切换下一个,不会覆盖以前日志。

执行器和 InnoDB 引擎 update 语句时内部流程:

1.  执行器先找引擎取 ID=2 这行引擎树搜索内存中返回给执行器;否则从磁盘读入内存,再返回。

2. 执行器加 1,得新数据,调用引擎接口写入。

3.  引擎更新到内存,同时记录 redo log (prepare 状态)里, 告知执行器完成,可以提交事务。

4.  执行器生成这个操作 binlog,写入磁盘。

5.  执行器调用引擎提交事务接口,引擎把redo log 改成(commit)状态,更新完成。

浅色:InnoDB 内部执行,深色:执行器中执行。

update语句执行流程

最后三步有点“绕”,将 redo log 写入拆成了两步:prepare 和 commit,这就是"两阶段提交"。

三、两阶段提交

两份日志一致。

怎样让数据库恢复到半个月内任意一秒的状态?

binlog “追加写”记录操作,半个月内可恢复,保存最近半个月所有 binlog,定期(天/周)整库备份。

误删表,找最近的一次全量备份,运气好昨晚上备,恢复到临时库;从备份时间点开始, binlog 取出重放误删表之前

为什么“两阶段提交”。

redo log 和 binlog 两个独立逻辑,update例子, ID=2 的行, c 值 0,执行 update 写完第一个日志后,第二个日志还没写完 crash,数据库和日志恢复的库不一致

1. 先写 redo log 后写 binlog。binlog 没写完异常重启。用binlog 恢复临时库,与原库的值不同。

2.  先写 binlog 后写 redo log。binlog 恢复时多一个事务, c 值 1,与原库值不同。

概率不低,恢复临时库场景:扩容时,全量备份+ binlog 实现

小结

redo log :保证 crash-safe 能力。innodb_flush_log_at_trx_commi t= 1 时(建议),每次事务 redo log 直接持久化到磁盘。保证 MySQL 异常重启数据不丢失

sync_binlog =1 ,每次事务binlog 持久化到磁盘。重启后 binlog 不丢失。“两阶段提交”,维持一致性

问题:定期全量备份的周期“取决于系统重要性,一天/周一备,什么场景一天一备好?或者说,影响数据库系统哪个指标

评论1

如果mysql只有InnoDB引擎了,redo来实现复制,oracle的DG就诞生了,物理的速度也将远超逻辑的,毕竟只记录了改动向量

binlog几大模式,一般采用row,因为遇到时间,从库可能会出现不一致的情况,row更新前后都有,会导致日志变大

一天一备,按天找,数据库丢失好找

一周一备,周一要恢复周日某个时间点,一周全部binlog用来恢复,看业务能忍受程度。

评论2

redo log写满,事务均未提交,要擦除redo log,被修改的脏页被迫flush到磁盘,数据commit之前持久化到磁盘中。mysql会如何处理?

1prepare阶段  2写binlog  3commit

2、之前崩溃,重启恢复:回滚。备份:没有binlog 。一致

3、之前崩溃,重启恢复:自动commit。备份:有binlog. 一致

评论3

完整交易过程:账本记卖一瓶可乐(redo log为 prepare状态),收钱(bin log记录),账本打勾(redo log置为commit)

收钱打断,只记账没收钱,失败,回滚;

收钱后终止,有记录(prepare),钱箱有收入(bin log),完善账本(commit),交易有效。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容