再探Redis对象与底层数据结构的关系

大纲:简述Redis五种对象所使用的的底层数据结构

  • 字符串对象
  • 列表对象
  • 哈希对象
  • 集合对象
  • 有序集合对象

阅读本文你将收获什么:

  • 了解Redis五种对象的实现以及优点。
  • 了解对象系统设计上的优点。

简述:
上文我们已经了解过了Redis底层的六种数据结构,然而这六种数据结构咱们并不能直接使用,而是基于这些数据结构创建了Redis的对象系统,每种对象都用到了至少一种前文所述的数据结构。
这种以对象来实现方式的好处在于,可以根据对象的类型来判断对象是否可以执行给定的命令。另一个好处在于,我们可以针对不同的使用场景,为对象设置不同的数据结构实现,优化使用效率。

一。对象的编码与类型

图1·Redis对象与编码.png

图一表示了Redis与其对象系统,也就是咱们常用的五大类型,以及五大类型底层所有的编码方式。

对象的编码:

编码常量 编码所对应的底层数据结构
REDIS_ENCODING_INT long类型的整数
REDIS_ENCODING_EMBSTR embstr编码的简单动态字符串
REDIS_ENCODING_RAW 简单动态字符串
REDIS_ENCODING_HT 字典
REDIS_ENCODING_LINKEDLIST 双端链表
REDIS_ENCODING_ZIPLIST 压缩列表
REDIS_ENCODING_INTSE 整数集合
REDIS_ENCODING_SKIPLIST 跳跃表和字典

二.字符串对象

字符串对象的编码可以是int、raw、或者embstr。

  1. 如果一个字符串对象保存的是整数值,且这个整数值可以用long类型来表示,那么字符串对象会将整数值保存在字符串对象结构的ptr属性里面,并且将字符串对象的编码设置为int。


    图2·int编码的字符串对象.png
  2. 如果字符串对象保存的是一个字符串值,且长度大于39字节,那么字符串对象将使用一个简单动态字符串(SDS)来保存这个值,并将对象的编码设置为raw。


    图3·raw编码的字符串对象.png
  3. 如果保存的字符串值的长度小于39字节,那么字符串对象将使用embstr编码的方式来保存这个字符串值。


    图4·embstr编码创建的内存块结构.png

使用embstr保存短字符串值的好处

  • embstr编码将创建字符串对象所需的内存分配次数从raw编码的两次降低为一次。
  • 释放embstr编码的字符串对象只需要调用一次内存释放函数,而释放raw编码的字符串对象需要调用两次。
  • 因为embstr编码的字符串对象所有的数据都保存在一块连续的内存里,所以这种编码的字符串对象比raw编码的字符串对象能够更好的利用缓存带来的优势。

Redis没有为embstr编码的字符串对象编写任何相应的修改程序,所以embstr编码的字符串对象实际上是只读的,任何对其修改的命令,程序都会将其编码从embstr转换成raw,在执行修改。

三.列表对象

列表对象的编码可以是ziplist或者linkedlist。

  1. ziplist编码的列表对象使用压缩列表作为底层实现,每个压缩列表节点(entry)保存了一个列表元素。
图5·ziplist编码的number列表对象.png
  1. 另一方面,linkedlist编码的列表对象使用双端链表作为底层实现,每个双端链表节点(node)都保存了一个字符串对象,每个字符串对象都保存了一个列表元素。
图6·linkedlist编码的列表对象.png

字符串对象是Redis五种类型的对象中唯一一种会被其他四种对象嵌套的对象。

编码转换
当列表对象可以同时满足以下两个条件时,列表对象使用ziplist编码:

  • 列表对象保存的所有字符串长度都小于64字节;
  • 列表对象保存的元素数量小于512个。

四.哈希对象

哈希对象的编码可以是ziplist或者hashtable。

  1. ziplist编码的哈希对象使用压缩列表作为底层实现,每当有新的键值对要加入到哈希对象时,程序会先将保存了键的压缩列表节点推入到压缩列表表尾,然后再将保存了值的压缩列表节点推入到压缩列表表表尾,因此:
    • 保存了同一键值对的两个接地那总是紧挨在一起,保存键的节点在前,保存值的节点在后;
    • 先添加到哈希对象中的键值对会被放在压缩列表的表头方向,而后来添加到哈希对象中的键值对会被放在压缩列表的表尾方向。

举例:
ziplist编码的哈希对象

图7·ziplist编码的哈希对象.png

压缩列表实现如下:

图8·哈希对象的压缩列表底层实现.png
  1. hashtable编码的哈希对象使用字典作为底层实现,哈希对象中的每个键值对都是用一个字典键值对来保存:
    • 字典的每个键都是一个字符串对象,对象中保存了键值对的键。
    • 字典的每个值都是一个字符串对象,对象中保存了键值对的值。
图9·hashtable编码的哈希对象.png

编码转换
当哈希对象可以同时满足以下两个条件时,哈希对象使用ziplist编码:

  • 哈希对象保存的所有键值对的键和值的字符串长度都小于64字节;
  • 哈希对象保存的键值对数量小于512个。

五.集合对象

集合对象的编码可以是intset或者hashtable。

  1. intset编码的集合对象使用整数集合作为底层实现,集合对象包含所有元素都被保存在整数集合里面。
图10·intset编码的集合对象.png
  1. 另一方面,hashtable编码的集合对象使用字典作为底层实现,字典的每个键都是一个字符串对象,每个字符串对象包含了一个集合元素,而字典的值全部被设置为NULL。
图11·hashtable编码的集合对象.png

编码转换
当集合对象可以同时满足以下两个条件时,对象使用intset编码:

  • 集合对象保存的所有元素都是整数值;
  • 集合对象保存的元素数量不超过512个。

六.有序集合对象

有序集合的编码可以是ziplist或者skiplist。

  1. ziplist编码的有序集合对象使用压缩列表作为底层实现,每个集合元素使用两个紧挨在一起的压缩列表节点来保存,第一个节点保存元素的成员,第二个元素保存分值。
    压缩列表内的几何元素按分值从小到大进行排序,分值较小的元素被放置在靠近表头的位置,而分值较大的元素则被放置在靠近表尾的位置。
图12·有序集合的压缩列表.png
  1. zset结构中的zsl跳跃表按照分值从小到大保存了所有集合元素,每个跳跃表节点都保存了一个集合元素:跳跃表节点的object属性保存了元素的成员,而跳跃表节点的score属性则保存了元素的分值。通过这个跳跃表,程序可以对有序集合进行范围型操作。
    除此之外zset结构中的dict字典为有序集合创建了一个从成员到分值的映射,字典中的每个键值对都保存了一个集合元素:字典的键保存了元素的成员,值则保存了元素的分值。通过字典,程序可以以O(1)的复杂度查找给定成员的分值。
图13·skiplist编码的有序集合对象.png
图14·有序集合元素同时被保存在字典和跳跃表中.png

编码转换
当有序集合对象可同时满足以下两个条件时,对象使用ziplist编码:

  • 有序集合保存的元素数量小于128个;
  • 有序集合保存的所有元素成员的长度都小于64字节。

总结

以上就是Redis的对象系统如何使用底层基本数据结构来针对不同的场景进行实现。同时,经过分析,可以发现,Redis的对象系统的类型与编码组合使用以达到多种适用于不同类型, 不同长度数据存储的巧妙设计。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容

  • Redis的内存优化 声明:本文内容来自《Redis开发与运维》一书第八章,如转载请声明。 Redis所有的数据都...
    meng_philip123阅读 18,872评论 2 29
  • redis没有直接使用数据结构来实现键值对的数据库,而是基于这些数据结构创建了一个对象系统,包含字符串对象、列...
    忘记M阅读 397评论 0 0
  • Redis用到的主要数据结构,如简单动态字符串、双端链表、字典、压缩列表、整数集合等。Redis并没有直接使用这些...
    HRADPX阅读 348评论 0 0
  • 对象 redis没有直接使用SDS、链表、字典、压缩列表、整数集合等数据结构来实现 键值对数据库,而是基于这些数...
    稻壳_be03阅读 506评论 0 0
  • 小朱昨晚焦虑地打电话找我教练。 原来她要去面试一家世界500强的企业,心里有压力。 在打电话的过程中,她鼻音很重,...
    光年313阅读 251评论 0 0