Redis RDB持久化和AOF持久化

RDB持久化

Redis是内存数据库,数据库状态都在内存里边,需要RDB持久化功能将内存中的数据库状态保存到磁盘里,避免数据丢失。
SAVE和BGSAVE命令可用于生成RDB文件:

  • SAVE:阻塞redis服务器进程,直到RDB文件创建完毕;
  • BGSAVE:派生出一个子进程负责创建RDB文件,父进程继续处理请求。

RDB文件的载入是有服务器启动时自动执行的,服务器会阻塞知道RDB文件被载入完成。

AOF文件的更新频率比RDB文件高,所以如果服务器开启了AOF持久化功能,那么会优先使用AOF文件来还原数据库状态。

RDB文件结构(RDB保存的是二进制数据)


image
  • REDIS:保存“REDIS”五个字符,可以快速检查所载入的文件是否为RDB'文件;
  • db_version:版本号,4字节字符串表示的整数;
  • database:包含0个或多个数据库,以及各个数据库中的键值对数据;
  • EOF:1字节,标志RDB文件正文内容结束,键值对加载完毕;
  • check_sum:检验和,8字节的无符号整数。

database:RDB文件中的数据库结构


image
  • SELECTDB:常量,1字节,读到这个值时便知道接下来就是数据库号码;
  • db_number:保存一个数据库号码,可以是1字节、2字节或5字节;
  • key_value_pairs:保存了数据库中所有的键值对数据,以及对应的过期时间。


    image

    image

TYPE:记录value的类型,1字节;代表了一种对象类型或者底层编码,程序会根据TYPE的值来决定如何读入和解释value数据:

  • REDIS_RDB_TYPE_STRING
  • REDIS_RDB_TYPE_LIST
  • REDIS_RDB_TYPE_SET
  • REDIS_RDB_TYPE_ZSET
  • REDIS_RDB_TYPE_HASH
  • REDIS_RDB_TYPE_LIST_ZIPLIST
  • REDIS_RDB_TYPE_SET_INTSET
  • REDIS_RDB_TYPE_ZSET_ZIPLIST
  • REDIS_RDB_TYPE_HASH_ZIPLIST

key:字符串对象;

value:值对象,类型记录在TYPE中:

  • 字符串对象:REDIS_RDB_TYPE_STRING
    编码为REDIS_ENCODING_INT,则保存对象是长度不超过32位的整数:
    image

    编码为REDIS_ENCODING_RAW,则保存对象为字符串,若长度小于等于20字节则原字符串保存:
    image

    若长度大于20字节则压缩保存:
    image
  • 列表对象:REDIS_RDB_TYPE_LIST,编码:REDIS_ENCODING_LINKEDLIST


    image
  • 集合对象:
    REDIS_RDB_TYPE_SET,编码:REDIS_ENCODING_HT
    [图片上传失败...(image-8007a2-1525337873697)]
    REDIS_RDB_TYPE_SET_INTSET:编码:REDIS_ENCODING_INTSET
    将整数集合转换为字符串对象,然后将字符串对象保存到RDB文件中
  • 哈希表对象:REDIS_RDB_TYPE_HASH,编码:REDIS_ENCODING_HT


    image
  • 有序集合对象:REDIS_RDB_TYPE_ZSET,编码:REDIS_ENCODING_SKIPLIST


    image
  • ZIPLIST编码的列表(REDIS_RDB_TYPE_LIST_ZIPLIST)、哈希表(REDIS_RDB_TYPE_HASH_ZIPLIST)或有序集合(REDIS_RDB_TYPE_ZSET_ZIPLIST):均将压缩列表转换成一个字符串对象再保存到RDB文件中,读取RDB文件时再根据TYPE值还原成对应的类型对象。

EXPIRETIME_MS:常量,1字节,告知程序接下来是以毫秒为单位的过期时间;
ms:8字节带符号整数,记录一个以毫秒为单位的UNIX时间戳。

AOF持久化

AOF(Append Only File)持久化是通过保存Redis服务器所执行的写命令来记录数据库状态。服务器启动时,可以通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态。

AOF功能包括三个步骤:命令追加、文件写入和文件同步。
1、命令追加:服务器执行完一个写命令后,会以协议格式将被执行的写命令追加到服务器状态的aof_buf缓冲区的末尾;
2、文件写入与文件同步:服务器进程是一个事件循环,在一次事件循环结束之前,都会调用flushAppendOnlyFile函数,并由配置参数appendfsync选项决定aof_buf缓冲区中的内容是否写入和保存到AOF文件中,具体设置如下:

image

写入不会阻塞到IO完成才返回,因此若在此期间发生故障会造成数据丢失;
同步是通过同步IO原语来提供os级别的保证,保证文件所有已修改的内容同步到磁盘中。

AOF文件载入与还原


image

AOF重写:AOF持久化是通过保存被执行的写命令来记录数据库状态的,所以AOF文件中的内容会越来越多,造成影响。AOF重写是通过读取当前的数据库状态,从而得到一个新的AOF文件,其体积较小,但跟原来的AOF文件所保存的数据库状态是一样的。其原理就是从数据库中读取每个键现在的值,然后用一条命令去记录键值对(但当处理列表、哈希表、集合或有序集合这些带有多个元素的键时,若元素数量超过64个,会用多条命令来记录键值对)。

AOF后台重写:
AOF重写会造成服务器进程阻塞而无法处理其他命令请求,因此Redis创建一个新的子进程用于处理AOF重写,这样的好处是:

  1. 子进程进行AOF重写期间,服务器进程仍可以继续处理命令请求;
  2. 子进程带有服务器进程副本,使用子进程而非线程,可以避免使用锁的情况下保证数据的安全性。

为了解决子进程在处理AOF重写时,服务器进程对数据库状态进行修改而造成的不一致,Redis设置一个AOF重写缓冲区,在子进程处理AOF重写时,服务器每执行完一个写命令,会将该命令发送到AOF重写缓冲区,子进程处理完毕后产生新的AOF文件,并向服务器进程发送一个信号,服务器进程接收到该信号后就将AOF重写缓冲区的命令追加到新的AOF文件中。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容

  • 超强、超详细Redis入门教程 转载2017年03月04日 16:20:02 16916 转载自: http://...
    邵云涛阅读 17,427评论 3 313
  • Redis持久化: 提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF. RDB 持久化可以在指定的时间...
    不姓马的小马哥阅读 637评论 0 10
  • 【本教程目录】 1.redis是什么2.redis的作者3.谁在使用redis4.学会安装redis5.学会启动r...
    徐猿猿阅读 1,863评论 0 35
  • Redis 持久化: 常用的两种持久化 提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF. RDB 持...
    边学边记阅读 1,123评论 0 1
  • 1.有时候会偏爱这样黑白纯粹的世界 2.想看到南方下这样美的雪 3.也许它听过风听过雨听过世事变迁 4.山云 5....
    却篱阅读 253评论 0 1