2018-03-31

“一致性哈希算法的提出也伴随着新问题的出现,那就是当某一个服务器结点挂掉之后,它的任务就会分配到它的下一个服务器结点,那么这就有悖于分布式系统中需要满足平衡性的要求。”

雪崩效应

在服务器上会有一些数据会经常被访问,这些数据的访问次数远远高于其他数据,那么这些数据就被称为热点数据,理所当然在分布式服务器中承载这些热点数据的服务器的负载就要大于其他服务器。当对热点数据的访问量超过服务器的承受限度的时候,服务器就会挂掉。

按照一致性哈希算法,这个服务器的数据就会托管给下一个服务器,下一个服务器当然也无法承担这么大的请求量,不一会它也会挂掉,接着下一个服务器也会挂掉,直到最后整个服务器挂掉。这就是雪崩。

优化方案

这里有两种优化方案,第一种简单粗暴,那就是增加承载热点数据的服务器数量。另一种更好的方案是使用虚拟结点技术,这种方法的原理就是将一个物理结点拆分问多个虚拟结点,让这些虚拟结点均匀的分布在哈希环之上。这样就解决了某个结点删除后,它的数据资源分配不平衡的问题。

如图红色的结点3就相当于承载热点数据的服务器,右图中把每个物理结点拆分为了两个虚拟结点,并均匀的分布在哈希环之上。

这种解决方案的优势是与此同时也解决了当增加结点时,新结点从其他节点拉取资源后导致的结点资源分布不均问题。

例如,有ABD三个结点分配一百个资源,当要在BD之间加入一个结点C的时候,C结点会直接从D结点拉取相应的结点,这就会导致AB分配的资源肯定要多于CD所分配的资源,这也就不满足服务器的负载均衡的要求。而当插入一个物理结点时把它拆分为几个虚拟结点并均匀分布在哈希环之上就可以解决这个问题。

时间复杂度

做到这一步好像一致性哈希已经很完美了,但是我们还忽略了一个问题,那就是一致性哈希的查找时间复杂度。一致性哈希不像普通哈希,时间复杂度是0(1),这是因为普通的哈希是基于数组的,而一致性哈希为了满足可伸缩性一般会选择链表作为基础数据结构。那么时间复杂度就会变为O(N)。

优化方案

这里O(N)的时间复杂度对于哈希算法是不能忍受的,在这里我们使用一种叫做跳转表的技术来解决这个问题。

如上图在这个跳转表中,每个结点记录距离自己 1,2,4 距离的数字所存的结点,这样不管查询落在哪个节点上,对整个哈希环上任意的查询一次都可以至少跳过一半的查询空间,这样递归下去很快就可以定位到数据是存在哪个结点上。这样时间复杂度就降为了O(logN)。但是这样也同样会带来一个问题就是会占用服务器的存储空间。

第二种解决方案就是不选用链表作为基础的数据结构,换成二叉查找树结构。因为哈希查找的过程实际上就是在二叉树中查找不小于查找数的最小数值的过程,所以我们可以按照需求选取AVL树,红黑树作基础数据结构。这样也可以降低时间复杂度到O(logN)。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 198,932评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,554评论 2 375
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 145,894评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,442评论 1 268
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,347评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,899评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,325评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,980评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,196评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,163评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,085评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,826评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,389评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,501评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,753评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,171评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,616评论 2 339

推荐阅读更多精彩内容

  • 第四章 绩效管理 第一节 绩效管理系统的设计 【知识要求】 一 绩效管理系统设计的基本内容 包括 绩效管理制度的设...
    马甲吃茶阅读 1,240评论 0 3
  • 周杰伦西安演唱会的事情 波及五月天 啊哈哈哈 阿信说站在椅子上 就相当于站在冠佑易碎的心上 语言的艺术太棒了!! ...
    小王子的海绵宝宝阅读 174评论 0 0
  • 儿时暑假,午觉刚醒,正睡眼朦胧、口齿黏腻间,忽见隔壁汪阿姨家肥猫露露拖着脚步缓慢踱过。 因很是在我们这些半大孩子手...
    孟苏阅读 494评论 0 1
  • Dear雪儿,还有12个小时,我就要出发去见面了,希望她是我一段新的旅程的开始,同时也为我和你之间这场海鸟和鱼相遇...
    小雪007阅读 387评论 0 3
  • 01 每个人都会无比怀念恋爱的时光,浪漫,美好,甜蜜。恋爱中的人也会变得美丽和自信。 世间最美好的事情大致就是恋爱...
    喻心阅读 722评论 4 8