Tuning RocksDB - Prefix Extractor

在 TiKV 里面,我们在 Write 和 Raft column family (CF) 上面使用了 prefix extractor 机制,用来加速数据的读取和插入插入。

通常我们直接将 key 插入到 RocksDB 里面,不做任何改变,所有的 key 是按照字节序依依次排列的,Bloom filter 里面也是对整个 key 的判断。但有些时候,这些机制并不适合。

Write CF

譬如对于 TiKV 的 Write CF 来说,我们的 key 的组织方式是 key + version 的方式,譬如这样:

key1 - ver 1
key1 - ver 2
......
key1 - ver n
key2 - ver 1
key2 - ver 2
......
key2 - ver n
......

在 Write CF 的逻辑里面,我们只会用一个不带 version 的 key 来判断这个 key 是否存在,所以我们只能用 seek(key) 的方式,然后看得到的 key 去掉 version 之后是否就是我们需要的。seek 在数据量大的时候会存在明显的性能问题,因为它要在所有的 level 上面都要定位一下,但现在的机制我们又没法改成 get,虽然后面可能重构,但现在首要机制就是保证 seek 的性能。如果 seek 也能用 bloom filter,那么就会减少很多无用的文件定位了,所以我们在这里使用了 prefix_extractor 机制,将不带版本的 key 放到了 bloom filter 里面,提升 seek 的性能。

Raft CF

而对于 Raft CF 来说,key 的格式类似 region ID + log ID 的方式,譬如:

region 1 : log 1 
......
region 1 : log n
region 2 : log 1
......
region 2 : log n
......

即使系统里面有太多的 region,但同一个时刻同时活跃的 region 数量并不多,所以通常我们只会在一段时间处理一批 region 的 Raft log。也就是在 RocksDB 里面 memtable 的实际 region 数量是不会特别多的,但因为这些 region 很活跃,所以插入 Raft log 的性能压力很大。

同时我们也观察到,对于一个 region 来说,它的 log 插入是顺序的,也就是第一次插入 log 100,下一次一定是 log 101,也就是一定在 log 100 的后面,这个是 Raft 保证的,所以我们可以使用 memtable_insert_with_hint_prefix_extractor 机制,使用一个 hint 指针放在 log 100 那个地方,这样当下一次需要插入 log 101 的时候,直接从 hint 下一个位置插入,而不需要再在 memtable 里面进行多次比较了。

Prefix Extractor

上面两个优化都是使用了 prefix extractor ,Prefix extractor 是一个 SliceTransform object,定义如下:

// SliceTranform is a generic pluggable way of transforming one string
// mainly used for prefix blooms.
pub trait SliceTransform {
    // Extract a prefix from a specified key
    fn transform<'a>(&mut self, key: &'a [u8]) -> &'a [u8];

    // Determine whether the specified key is compatible with the logic
    // specified in the Transform method. This method is invoked for every
    // key that is inserted into the db. If this method returns true,
    // then Transform is called to translate the key to its prefix and
    // that returned prefix is inserted into the bloom filter. If this
    // method returns false, then the call to Transform is skipped and
    // no prefix is inserted into the bloom filters.
    fn in_domain(&mut self, key: &[u8]) -> bool;

    // This is currently not used and remains here for backward compatibility.
    fn in_range(&mut self, _: &[u8]) -> bool {
        true
    }
}

我们重点关注 transformin_domaintransform 就是提取 key 的 prefix,注意,虽然这里说明的是前缀 prefix,实际我们也可以提取后缀 postfix,或者中间某一段。in_domain 用来判断这个 key 是否符合提取的要求,如果返回了 true,则表明可以使用 transform 提取 prefix 并插入到 bloom filter 里面。

可以看到,无论是自定义 prefix extractor 还是使用,都是非常简单的,但需要注意几个地方:

  • 如果我们仍然要支持完整的 key Get 操作,那么需要设置 whole_key_filtering 为 true,这样不光 prefix 会加入到 bloom filter 里面,整个 key 也会加入进去。
  • 如果我们仍然需要 iterator 顺序 scan 所有的数据,需要将 total_order_seek 设置为 true,不然 scan 出来的数据顺序就不对。

小结

Prefix extractor 只是一个非常简单的功能,仅仅是通过使用 prefix extractor,TiKV 在性能上面就有了将近 20% 以上的提升。后续我们也会更加深入的研究 RocksDB 其他的一些性能提升特性。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,165评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,503评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,295评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,589评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,439评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,342评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,749评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,397评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,700评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,740评论 2 313
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,523评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,364评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,755评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,024评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,297评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,721评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,918评论 2 336

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,517评论 18 139
  • Prefix Seek Prefix seek是RocksDB的一种模式,主要影响Iterator的行为。在这种模...
    周肃阅读 9,133评论 0 2
  • HBase存储架构图 HBase Master 为Region server分配region 负责Region s...
    kimibob阅读 5,546评论 0 52
  • 布隆过滤器 Bloom Filter 布隆过滤器,用来判断一个元素是否在集合中。它的特点是节省空间,但是有误判。有...
    周肃阅读 4,489评论 0 5
  • HBase那些事 @(大数据工程学院)[HBase, Hadoop, 优化, HadoopChen, hbase]...
    分痴阅读 3,921评论 3 17