Postgres的动态哈希

什么是动态哈希

动态哈希,顾名思义,是与静态哈希对应的。
数据库文件系统中的哈希,需要两个要素:bucket和哈希函数。bucket是用来存储数据的,而哈希函数则可以将查询的key映射成它在bucket里的地址。静态哈希的哈希函数,同样的key值永远映射出唯一的地址值。这里就有一个很明显的问题,如果出现了哈希碰撞,bucket就会溢出。当然,这个问题是可以解决的。
两种方式:

  1. 链表
    将拥有相同地址的值以链表串联起来

    链表方式处理溢出

  2. 线性探测(开放定址法)
    如果说哈希函数计算出的地址有冲突,那么就存到bucket里下一个空白的位置。


    线性探测

静态哈希最大的缺点就是不能根据数据库数据大小增长或缩减。动态哈希能解决这个问题,动态哈希可以根据需求增减bucket,所以也叫extendable hashing

动态哈希

动态哈希比起静态哈希,首先,哈希函数能产生的哈希值量很大,但是哈希值只会取一部分(前缀或后缀)来使用;其次,会记录每个record到底使用了哈希值的多少位(前缀或后缀)。当有冲突发生的时候,会拆分bucket,同时增加此bucket里所有的record使用哈希值的位数来解决冲突。

用例子说话:
下面是用一个哈希函数产生的key和哈希值的对应关系。

hash key & value

我们现在使用2位后缀的哈希值,假设一个bucket能存两条记录,那么现在的hash table的状态就是这样


hash table初始状态

现在要插入key = 9的值,hash值是10001,需要放入bucket 1,但是bucket 1已经满了,这时就需要拆分bucket 1。
我们把bucket 1所存的record使用的哈希值位数增大为3,可以看到,其他的bucket的状态并没有改变。这样,后缀同为001的5和9存到bucket 1中,而后缀为101的6则存到了bucket 5。


split后的hash table

Postgres dynamic hash table

pg的动态哈希表既可以支持单个backend使用又可以支持在共享内存中跨backend使用。使用动态哈希表时,需要调用者来管理锁的问题。如果单个LWLock会造成性能瓶颈的话,pg也支持分片上锁,可以用多个锁分别锁住哈希表的各个部分,称为partitioned模式,需要在hash表创建的时候传入HASH_PARTITION这个flag。

几个相关函数

hash_create

创建新的动态hash表。对于跨backend使用的hash table,本地只需要存一个header,剩下的部分都在共享内存中。

ShmemInitHash

创建共享内存的hash table的函数。
注意⚠️ 在共享内存中,hash table的大小是不能动态增加的,需要调用hash_select_dirsize一次性把最大size分配好。

insert/remove/find

所有的hash表操作都是通过hash_search/hash_search_with_hash_value这个函数进行操作的。通过action这个参数来指定本次调用的操作。
首先,任何操作都会根据传入的key先找到bucket的地址。

  • insert(HASH_ENTER) 如果key已经存在于哈希表中返回bucket的地址,由调用者将数据写入。否则,在表中创建这个key。
  • remove(HASH_REMOVE) 将bucket插入freelist
  • find(HASH_FIND) 直接返回地址

update

hash_update_hash_key函数
具体操作就是先删除bucket,再创建一个新的key,把旧的数据拷贝过去。但是和先调用remove再调用insert这种方式的不同之处,在于bucket不需要进入freelist,直接复用内存。

seq scan相关函数

hash_seq_init/hash_seq_search/hash_seq_term
是对哈希表进行seq scan的函数。
pg对于正在进行的所有hash tables的seq scan都有记录,而且seq scan的数量不能超过MAX_SEQ_SCANS的设定值(100)。

expand_table

增加新的bucket,或者说split bucket。
有以下几个条件:

  • 如果是partitioned mode的表,那么不能split
  • 如果目前表是frozen状态,不能split
  • 如果正在有seq scan操作发生在这张表上,不能split
    具体split的操作方法和上文提到的类似。

hash function

除了调用者可以传递进来hash function之外,pg还提供几个默认的hash function,例如uint32_hash和tag_hash以及string_hash。其中tag_hash是为固定大小key值的函数。虽然uint32/int32这种值也可以用tag_hash,但是pg仍然创建了uint32_hash,比tag_hash更快。

compare函数

调用者可以传入match函数用于hash值的比较,否则就用pg默认的函数。如果是string_hash,就用string_compare,否则就用默认的memcmp直接比较内存。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容