CockroachDB 设计思想

翻译自 design

关于

本文档是 Spencer Kimball 早期(2014)写的设计文档的升级版本。可能不是很完整。如果需要更加详尽的CockroachDB工作原理的说明,建议阅读体系结构相关文档

概述

CockroachDB 是一个分布式的SQL数据库。最初的设计目标包括可扩展性强一致性生存性(就像它的名字一样)。CockroachDB 致力于在最小的延迟时间和人为干预下容许硬盘、物理机、机架甚至数据中心的灾难。CockroachDB 节点是对称的;一个设计目标是以最少的配置且无需外界依赖进行同源部署(即使用同一个二进制文件)。
数据库的入口是SQL接口。CockroachDB 集群中每一个节点充当一个客户端SQL网关。SQL网关将客户端SQL语句变换并执行到 key-value(KV)操作,并能在集群上按需分发和返回结果给客户端。CockroachDB 实现了一个单一、庞大的有序键值对映射,其键值都是byte字符。
KV映射在逻辑上是由叫做range的keyspace的小片段组成的。每一个range都由存储在本地KV存储引擎中的数据作支持(我们使用 RocksDBLevelDB的一个变体)。Range 的数据会被复制到一个可配置数量的额外 CockroachDB 节点中。Range 会被合并或切分以维持在是设定的大小,默认为 64M。相对较小的尺寸可以加快节点的错误修复和节点、容量甚至读写负载的再平衡。但是,这个尺寸必须和系统压力平衡,以便有更多range来管理。

CockroachDB 实现了水平可伸缩性

  • 增加更多节点并通过集群中每个节点的存储量来增加集群的容量(由可配置的复制因子来切分),理论上可以扩大至4E字节的逻辑数据量;
  • 客户端查询可以被发送到集群中任意的节点,且查询会被独立操作(w/o 冲突),这意味着总吞吐量是影响集群中节点数量的线性因素。
  • 查询操作会被分发(参考:分布式 SQL),因此单次查询操作的总吞吐量可以通过增加更多节点来扩大。

CockroachDB 实现了强一致性

  • 在每个键值range中同步复制数据时使用分布式一致性的协议。我们选择使用 Raft 一致性算法;所有的一致性状态都存储在 RocksDB 中。
  • 单一或批量地突变到单个 range 可以通过range的Raft实例进行调节。Raft保证了ACID语义。
  • 逻辑上的突变会影响多个range使用分布式事务的语义。CockroachDB 使用了一个高效的 non-locking distributed commit(非锁定分布式提交) 协议。

CockroachDB 实现了强生存性

  • range 副本可以共同定位在一个单独的数据中心以达到较低的延迟和降低磁盘或机器的故障率。其可以进行分布式的部署以承受交换机的故障。
  • range 副本可以部署在跨越不同地域的数据中心以承受网络、电力甚至更大的灾难场景带来的后果,比如(e.g. { US-East-1a, US-East-1b, US-East-1c }, { US-East, US-West, Japan }, { Ireland, US-East, US-West}, { Ireland, US-East, US-West, Japan, Australia })。

CockroachDB 提供了快照隔离级别(snapshot isolation 简称SI)语义和序列化快照隔离级别(serializable snapshot isolation简称SSI)语义,容许外部一致性、无锁定读写—--从历史快照时间戳和从当前系统时间读写(系统时间指从时间设备如:钟表、电脑等计时设备等读到的时间值,它是我们对真实时间的度量值,但跟真实时间总是不可能完全一致)。SI隔离级别提供无锁定读写但会产生写偏序(译注:因为每个事务在更新过程中看不到其他事务的更新结果,所以可能造成各个事务提交之后的最终结果违反了一致性)。SSI隔离级别消除了写偏序,但在竞争频繁的系统中引起了性能的下降。SSI 隔离级别是默认的隔离级别,用户必须有意识地决定是否用性能换取正确性。CockroachDB 实现了严格一致性(线性一致性)的一种有限形式,为任一观察者或观察者链提供有序化。类似于 Spanner 目录,CockroachDB 允许对任意数据地域进行配置。允许配置复制因子、存储设备类型、数据中心位置,以优化性能或者提高可用性。但与 Spanner 不同,地域是整体的,不允许在实体组层面进行更细粒度数据的移动。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容