增量备份与CBM机制

概述

内核提供cbm(changed block map)功能,对外提供数据页面的修改情况,并向提供外部接口,根据cbm信息可直接获取两次备份之间发生对于数据文件(行存、列存)的增量修改信息,并备份。

实现原理:

数据库所有的增量修改都会记录在xlog中,通过cbm writer常驻线程,持续解析新增xlog,识别并记录下哪些数据页面被修改。

CBM writer

在startup线程刚启动时,其根据已经解析出来的cbm文件,来决定cbm writer开始解析的起始lsn位置。然后,每次执行到checkpoint末尾时,会设置cbm writer线程的latch。cbm writer线程一直在一个死循环中等待latch被设置,然后进行一轮日志解析。

强制初始化逻辑


image.png

获取解析范围

上一次结束的位置就是开始的位置。

结束位置,要么是最近的checkpoint重做点位置,要么是强制刷新的CBM位置。

关键结构

Hash表

image.png

CbmPageHeader

typedef struct cbmpageheader {

    pg_crc32c pageCrc;

    bool isLastBlock;

    uint8 pageType;

    XLogRecPtr pageStartLsn;

    XLogRecPtr pageEndLsn;

    RelFileNode rNode;

    ForkNumber forkNum;

    BlockNumber firstBlkNo;

    BlockNumber truncBlkNo;

} CbmPageHeader;

解析过程

插入hash表

  1. 按page读取xlog

  2. 对page里所有修改的block进行遍历

  3. 按照这个顺序找到自己在hash表中的位置插入,HashEntry -> segEntry -> pageEntry

刷盘

  1. 获取一个HashEntry上的所有page

  2. 按照firstBlkNo从小到大进行排序

  3. 刷入磁盘文件

CBM文件

cbm文件保存在data目录的pg_cbm文件夹下,命名方式为:pg_xlog_seqnum_startlsn_endlsn.cbm。

其中,seqnum表示这是第几个cbm文件,当一个cbm文件的大小超过128M时,将会切换到下一个cbm文件,并将seqnum加1,。startlsn为本cbm文件内容对应xlog记录的起始lsn,endlsn为本cbm文件切换时最后一次解析的截止lsn。若一个cbm文件还没有切换,那么endlsn为0。

cbm文件中一个page是512个字节。其中头文件56个字节(已经字节对齐)。可用字节为456个字节,每个字节可以表示8个block的变更,那么一个page就可以表示3648个变更的block。1G文件,用4个page就可以完全表示所有变更的block。

image.png

增量备份

  1. 首先用pg_cbm_tracked_location函数获取已经track的cbm的LSN号作为end LSN,获取父备份的start LSN作为start LSN。(?为啥不是stop)

  2. 然后调用pg_cbm_get_changed_block(start_LSN, end_LSN)可以获取文件路径,改变的block数量,和block no列表。

  3. pg_cbm_get_changed_block操作首先读取所有cbm文件,选择LSN在范围内的page(通过pageHeader)。

  4. 然后将这些page组成上面一样的Hash(组成hash的过程其实也就在进行合并),最后再把这些整个hash转为一个数组返回。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,013评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,205评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,370评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,168评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,153评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,954评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,271评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,916评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,382评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,877评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,989评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,624评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,209评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,199评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,418评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,401评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,700评论 2 345

推荐阅读更多精彩内容