字典

字典,又称为符号表,关联数组,映射,是一种用于保存键值对的抽象数据结构

字典中一个键key和一个值value进行关联,这些关联的键和值称为键值对,每个键都是唯一的,可以根据键来查找与之对应的值,或者通过键来更新值,或者通过键来删除键值对

Redis所使用的C语言没有内置这种数据结构,因此Redis构建了自己的字典实现

字典在Redis中的应用

Redis的数据库就是使用字典来作为底层实现的,对数据库的增删改查操作也是构建在对字典的操作之上的
字典也是哈希键的底层实现之一,当一个哈希键包含的键值对多的时候,或者键值对中的元素都是比较长的字符串的时候,Redis就会使用字典作为哈希键的底层实现

字典的实现

Redis的字典使用哈希表作为底层实现,一个哈希表里面可以有多个哈希表节点,而每个哈希表节点就保存了字典中的一个键值对

哈希表

哈希表dict.h/dictht

typedef struct dictht{
  //哈希表数组
  dictEntry **table;
  //哈希表大小
  unsigned long size;
  //哈希表大小掩码,用于计算索引值,size-1
  unsigned long sizemask;
  //该哈希表已有节点数量
  unsigned long used;
}dictht;

一个大小为4空的哈希表

table属性是一个数组,数组中的每一个元素都是一个指向dictEntry结构的一个指针,每个dictEntry结构保存着一个键值对
size属性记录了哈希表的大小,也就是当前table的大小
used属性记录了哈希表目前已有节点(键值对)的数量
sizemask属性的值是size-1,这个属性和哈希值一起决定一个键应该被放到table数组的那个索引上面

哈希表节点

哈希表节点使用dictEntry结构保存,每个dictEntry结构都保存着一个键值对

typedef struct dictEntry{
  //键
  void *key;
  //值
  union{
    void *val;
    uint64_tu64;
    int64_ts64;
  }v;
  //指向下个哈希表节点,形成链表
  struct dictEntry *next;
}dictEntry;
连接在一起的键K1和键K0

key:保存着键值对中的键
v:保存键值对中的值,可以是一个指针,或uint64_t整数,或int64_t整数
next:指向另一个哈希表节点的指针,这个这种可以将多个哈希值相同的键值对连接到一起,来解决键冲突问题

字典

字典使用dict.h/dict结构表示

typedef struct dict{
  //类型特定函数
  dictType *type;
  //私有数据
  void *privdata;
  //哈希表
  dictht ht[2];
  //rehash 索引,当rehash不在进行时,值为-1
  int rehashidx;    
}dict;
普通状态下的字典

type和privdata属性是针对不同类型的键值对,为创建多态字典而设置的
type属性是一个指向dictType结构的指针,每个dictType结构保存了一族用于操作特定类型键值对的函数,Redis会为用途不同的字典设置不同的类型特定函数
privdata属性保存了需要传给那些特定函数的可选参数

typedef struct dictType{
  //计算哈希值的函数
  unsigned int (*hashFunction)(const void *key);
  //复制键的函数
  void *(*keyDup)(void *privdata,const void *key);
  //复制值的函数
  void *(*valDup)(void *privdata,const void *obj);
  //对比键的函数
  int (*keyCompare)(void *privdata,const void *key1,const void *key2);
  //销毁键的函数
  void (*keyDestructor)(void *privdata,void *key);
  //销毁值的函数
  void (*valDestructor)(void *privdata,void *obj);
}dictType;

ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下,字典只使用ht[0]哈希表,ht[1]哈希表只会在对ht[0]进行rehash是使用
rehashidx记录了目前的进度,如果目前没有在进行的rehash,那么他的值为-1

哈希算法

如果要将一个新的键值对添加到字典中的时候,程序需要先根据键值对的键计算出哈希值和索引值,然后根据索引值,将包含新键值对的哈希表节点放到哈希表数组的指定索引上面

Redis计算哈希值和索引值的方法:

  • 使用字典设置的哈希函数,计算key的哈希值
    hash=dict->type->hashFunction(key);
  • 使用哈希表的sizemask属性和哈希值,计算出索引值,根据情况不同,ht[x]可以是ht[0]或者ht[1]
    index=hash & dict->ht[x].sizemask;

当字典被用作数据库的底层实现,或者哈希键的底层实现时,Redis使用MurmurHash2算法来计算键的哈希值,这种算法的优点在于,即使输入的键是有规律的,算法仍然能给出一个很好的随机分布性,并且算法的计算速度非常快

解决键冲突

当有两个或两个以上数量的键被分配到了哈希表数组的同一个索引上面时,这些键就发生了冲突

Redis的哈希表使用链地址法来解决冲突,每个哈希表节点都有一个next指针,多个哈希表节点可以用next指针构成一个单向链表,被分配到同一个索引上的多个节点可以用这个单向链表连接起来,这就解决了键冲突的问题

rehash

随着操作的不断进行,哈希表保存的键值对会逐渐增多或减少,为了让哈希表的负载因子维持在一个合理的范围内,当哈希表保存的键值对数量太多或太少,程序需要对哈希表的大小进行相应的扩展或者收缩

扩展和收缩哈希表可以通过执行rehash(重新散列)操作来完成

  • Redis对字典的哈希表执行rehash的步骤如下:
  1. 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(ht[0].used属性的值):
  • 如果执行的是扩展操作,那么ht[1]的大小为第一个大于等于ht[0].used*2的2^n(2的n次方幂)
  • 如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于ht[0].used的2^n
  1. 将保存在ht[0]中的所有键值对rehash到ht[1]上面:
  • rehash指的是重新计算键的哈希值和索引值,然后将键值对放到ht[1]哈希表的指定位置上
  1. 当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表),释放ht[0],将ht[1]设置为ht[0],并在ht[1]新建一个空白哈希表,为下一次rehash做准备
  • 对字典的ht[0]进行扩展操作


    执行rehash之前的字典
  1. ht[0].used的值为4,4*2=8,而2^3=8>=8,所以ht[1]哈希表的大小设置为8


    为字典的ht[1]哈希表分配空间
  1. 将ht[0]包含的四个键值对都rehash到ht[1]


    ht[0]所有键值对都被迁移到ht[1]
  1. 释放ht[0],并将ht[1]设置为ht[0],然后为ht[1]分配一个空的哈希表,此时哈希表扩展完成,程序将哈希表的大小从原来的4扩展为8


    完成rehash之后的字典

当满足以下任意一个条件,程序自动开始对哈希表执行扩展操作

  1. 服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1
  2. 服务器目前正在执行BGSAVE命令,或者BGREWRITEAOF命令,并且哈希表负载因子大于等于5
    负载因子=ht[0].used/ht[0].size

当哈希表的负载因子小于0.1,程序自动开始对哈希表执行收缩操作

渐进式rehash

rehash动作并不是一次性的,集中式的完成,而是分多次,渐进式完成的

因为如果哈希表中的键值对数量很多的时候,那么一次性将这些键值对全部rehash到ht[1]上庞大的计算量会导致服务器在一段时间内停止服务,因此为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面的键值对全部rehash到ht[1]上,而是分多次,渐进式第的将ht[0]里面的数据慢慢的rehash到ht[1]中

  • 哈希表渐进式rehash步骤
  1. 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
  1. 在字典中维持一个索引计数器变量rehashidx,并将他设为0,表示rehash正式开始
  1. 在rehash进行期间,每次对字典执行添加,删除,查找,或者更新操作,程序除了执行指定的操作之外,还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]上,当rehash完成之后,程序将rehashidx属性的值加1
  1. 随着字典操作的不断执行,最终在某个时间点上,ht[0]的所有键值对都会被rehash到ht[1]上,这时程序将rehashidx属性的值设为-1,表示rehash完成了

好处:采取分而治之的方式,将rehash键值对所需的计算工作均摊到对字典的每个添加,删除,查找,和更新操作上,从而避免了集中式rehash带来的庞大计算量

渐进式rehash图解


准备开始rehash

rehash索引0上的键值对

rehash索引1上的键值对

rehash索引2上的键值对

rehash索引3上的键值对

rehash执行完毕

渐进式rehash执行期间哈希表的操作

在执行过程中,字典会同时使用ht[0]和ht[1]两个哈希表,所以在渐进rehash期间,字典的删除,查找,更新会在两个哈希表上进行

例如:

  1. 在字典中查找一个键,程序会现在ht[0]里面查找,如果没有找到,就会继续在ht[1]中查找
  2. 新添加到字典的键值对一律会被保存到ht[1]中,而ht[0]不会进行任何操作,保证了ht[0]包含的键值对数量只会减少,不会增加,并随着rehash操作的执行最终变为空表

字典API

函数 作用 时间复杂度
dictCreate 创建一个新的字典 O(1)
dictAdd 将给定的键值对添加到字典中 O(1)
dictReplace 将给定的键值对添加到字典中,如果键已经存在,就用新的值取代原来的 O(1)
dictFetchValue 返回给定键的值 O(1)
dictGetRadomKey 从字典中随机返回一个键值对 O(1)
diceDelete 从字典中删除给定键所对应的键值对 O(1)
dictRelease 释放给定字典,以及字典中包含的所有键值对 O(N),N是键值对数量
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容

  • 字典数据结构 说起字典,也许大家比较陌生,但是我们都知道 Redis 本身提供 KV 查询的方式,这个 KV 就是...
    myf008阅读 261评论 0 0
  • 字典,java中的map,是一种用于保存键值对(key-value pair)的抽象数据结构。字典中,一个键(ke...
    猪大金阅读 371评论 0 0
  • 字典(dictionary), 又名映射(map)或关联数组(associative array),是一种抽象数据...
    待汝豪杰只是凡夫阅读 327评论 0 1
  • 字典的实现 hash表结构 table 属性是一个数组, 数组中的每个元素都是一个指向 dict.h/dictEn...
    来年花惜阅读 650评论 0 0
  • Redis 的数据库就是使用字典来作为底层实现的,对数据库的 curd 操作都时构建在对字典的操作之上。除了用来表...
    杰哥长得帅阅读 574评论 0 0