Redis 分区

分区是把数据分割到多个Redis实例的处理过程,每个redis实例只是保存你所有key的一个子集。

分区的优势

在redis server中,分区有两个主要目标:

它可以利用多台计算机的内存之和,构造出更大的数据库。没有分区,你就会被一台计算机支持内存的大小所限制。

它可以让我们架设多核cpu和多台计算机,来调节计算能力;利用多台计算机和网络适配器,让我们扩展网络带宽。

分区的缺点

在分区里,redis的特性运行的不是很好:

多个key的操作通常不能支持。例如你不能交叉操作在两个不同实例上的集合(实际上有方法能实现,但不直接)。

操作多个key的事务,通常不能用。

分区通常是以key为粒度,不能操作数据集。

用户分区的时候,数据处理更复杂,例如你需要处理多个RDB / AOF文件,从多个实例和主机备份持久化数据文件。

增加和删除容量也是复杂的。例如:redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力,但是类似于客户端分区、代理等其他系统则不支持这项特性。然而,一种叫做presharding的技术对此是有帮助的。

分区基础知识

它有不同的分区准则。想像一下,我们有四个redis实例R0,R1,R2,R3,还有很多key像这样user:1,user:2..., 我们可以找到不同的方法把给定的键存储到其中一个实例。

其中一个最简单的方法是执行范围分区,把对象范围映射到具体的redis实例中,这是一个现实的方案。例如:用户users的id从0到10000放入到实例R0,从10001到20000放到实例R1等等。

这种体系是可以工作,并且已经切实用到实践中了。但它也有缺点,它需要一张额外的表来存储这个范围指向哪个redis实例。不同的对象都需要一张这样的表,你需要管理它们。由此看出,范围分区比其它分区方法效率低,因此不那么爱欢迎。

除了范围分区,还有一个hash分区可选。这个方案对任何key都适用,也无需是object_name:这种形式,像下面描述的一样简单:

用一个hash function将一个key名称转化成一个数字(e.g., 用crc32hash function)。例如: 一个key名为foobar,调用crc32(foobar),将会输出数字93024922。

将这个数据以4取模, 就会得到0到3之间的数字,这个数字正好映射到我们四个redis实例中的一个。例如:93024922取模 4 得到 2,我们就知道foobar这个key应该被存储到R2这个实例上。注意:许多编程语言中是用 % 取模,其实就是除法的余数。

还有许多其它的方法进行分区,但通过这两个例子你应该已经知道它的思想了。还有一种更高级的hash分区形式,叫作consistent hashing, 它通过一些redis客户端和代理  来实现的。

分区不同的实现

分区可以通过一个软件的不同部分来实现。

客户端分区,它的意思是通过一个(写或读的)key,由客户端来直接选择正确的节点。许多客户端都实现了这个功能。

代理协助分区,它由客户端发送一个代理请求,这个代理可以请求redis server,而不是由客户端直接请求redis实例,代理通过配置信息会保证转向正确的redis实例,并且返回结果给客户端。Twemproxy提供了代理协助分区.

查询路由,你可以发送一个查询到随即的一个实例,这个实例将会让这个查询转向正确的节点。redis的集群,通过客户端的帮助,实现了一个路由查询的复杂形式。

存储或缓存?

redis的分区,不管是用作数据存储还是用作缓存,虽然概念上是一样的,但用作数据存储时有个很大的限制。用作数据存储时,一个给定的key必须一直

映射到相同的redis实例。当用作缓存时,如果一个给定的节点不可用那不是一个大的问题,可以变更key和实例间的映射,让它变的可用(这个体系的作用

是响应我们的查询)。

如果一个给定的key对应的节点不可用,一致性哈希的实现,可以把它切换到其它的节点。

类似地,如果你新建了一个新的节点,部分新key将开始存储新的节点上。

主要的概念有以下两点:

1、如果redis用作缓存,扩展和收缩用一致性哈希是容易的。

2、若果redis被作为持久化数据库,我们需要提供节点和键值的固定映射,还有一组固定的redis实例节点。否则我们需要一个系统来为我们增加或者删除键值和节点,目前,redis集群可以做到这点。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容

  • ****正文****Redis Partitioning即Redis分区,简单的说就是将数据分布到不同的redis...
    景岳阅读 63,963评论 2 3
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,600评论 18 139
  • 分区在我的理解就是原本一个Redis处理所有的get/set请求,现在用多个Redis实例来分担get/set 请...
    Cajesse佳泽阅读 578评论 1 2
  • Redis 分区 分区是分割数据到多个Redis实例的处理过程,因此每个实例只保存key的一个子集。 分区的优势 ...
    陈小陌丿阅读 5,547评论 0 4
  • Redis 分区 分区是分割数据到多个Redis实例的处理过程,因此每个实例只保存key的一个子集。 分区的优势 ...
    stakeing阅读 247评论 0 0