服务系统设计案例-数据库缓存一致性方案

缓存操作

读缓存

读缓存可以分为两种情况命中(cache hit)和未命中(cache miss):

缓存命中

  1. 首先从缓存中获取数据

  2. 将缓存中的数据返回

缓存未命中

  1. 首先从缓存中获取数据

  2. 此时缓存未命中,从数据库获取数据

  3. 将数据写入缓存

  4. 返回数据

读缓存的的处理由缓存中有没有数据? 决定,如果缓存中有数据那就是缓存命中,如果没有那就是缓存未命中

image

写缓存

写缓存可以分为更新缓存和删除缓存

更新缓存

更新缓存时需要分两种情况:

  • 更新简单数据类型(如string)

  • 更新复杂数据类型 (如hash)

简单数据类型直接更新缓存,如果是复杂数据类型会增加额外的更新开销:

  • 从缓存中获取数据

  • 将数据序反列化成对象

  • 更新对象数据

  • 将更新后的数据序列化存入缓存

对复杂数据缓存的更新最少需要4步,而且每次写数据时都需要更新缓存,这样对读缓存较少的场景,可能更新数据7-8次读缓存才发生一次想想就划不来,另外每次更新缓存时都要对缓存数据进行计算,很明显写数据时计算缓存数据然后再更新缓存是没必要的,可以将缓存的更新,推迟到读缓存(缓存未命中)时

删除缓存

删除缓存也称为淘汰缓存,删除缓存的操作非常简单的,直接将缓存从缓存库中的删除就可以了。

缓存操作顺序

缓存一般都是配合数据库一起使用,从数据库中获取数据然后再更新缓存。为什么要讨论缓存操作的顺序呢?因为在有些情况下不同的操作顺序会产生不一样的结果,常见的操作顺序可以分为:

  1. 先数据库,再缓存

  2. 先缓存,再数据库

不管是哪种顺序都要经过数据库、缓存两步操作,这两操作不是一个原子性的操作在一些情况会出现数据不一致问题。下面来分别说明不同的顺序所带的数据不一致、并发等问题。

先数据库后缓存

image

如上图先将数据写入数据库,然后再去更新或删除缓存。两个步骤1、2都可能失败,如果是第一步失败可以通过抛出业务异常,业务调用方捕获异常信息进行处理,因为这个时候并没有操作缓存可以理解为写数据库失败了。

如果是第一步成功(写数据库成功),然后再操作缓存的时候失败,这里有两种情况:

  • 数据库回滚:如果是业务需要保证缓存与数据库强一致性时,可以抛出业务异常给调用方。

  • 不作处理:与数据库回滚相反,业务可以接受在缓存过期时间达到之前,缓存与数据库允许数据不一致。

举个例子,假设有一个字符串数据类型的缓存数据,它的key为name并且现在数据库和缓存中的值都是arch-digest。


String name ="arch-digest";

现在要将name的值更新成juejin,按照先数据库后缓存的顺序:

//将name的值更新为juejin

public void update(String name){

    db.insert(...);//更新数据库

   cache.delete(name);//更新缓存

}

正常情况下db.insert(...)和cache.delete(name)都执行成功没有异议。如果是一些其他原因cache.delete(name)执行失败,那数据库中的值是更新后的值juejin,而缓存中的数据还是arch-digest这样在下次读取缓存的时候拿到的值就是arch-digest。


public String getNameFromCache(String name){

    String value=  cache.get(name);//从缓存中获取数据

   ...

   return value;

}

读取缓存的时候在getNameFromCache方法中,如果name缓存没有过期那会一直拿到arch-digest,这样情况就会导致用户看到的数据不一致。

先缓存后数据库

先缓存后数据库和之前说到的先数据库后缓存差不多除了会可能导致数据不一致外,还会有并发问题。

image

如上面现在是更新数据,如果是在更新数据库的时候失败会发生什么呢?这里要根据缓存的操作分两种情况:

  • 更新缓存:更新缓存数据,缓存中为最新数据,数据库中是老数据,下次读取时会拿到缓存中的新数据(数据不一致)。

  • 删除缓存:删除缓存中的数据,下次读取时从数据库中获取(数据一致)。

更新缓存和删除缓存操作上面已经介绍过了,不多做解释了。很明显关于更新缓存和删除缓存在这种情况先删除缓存更合适,没有数据不一致的问题,但是在使用删除缓存时也要注意会引发并发问题:

  1. 线程A删除缓存成功

  2. 线程B读取缓存未命中

  3. 线程B从数据库中获取数据

  4. 线程B将数据库中的数据写入缓存

  5. 线程A写入数据库成功

在高并发场景下,缓存和数据库数据不一致的情况还是会出现。那要解决数据库和缓存的数据一致性有哪些解决方案呢?

数据一致性优化方案

这里说的是优化方案不是解决方案哦,因为在分布式环境下事务是个难题,现在也没有好的解决方案。只能找到最适合业务的优化方案,使数据不一致的可能性或延迟降到一个业务可接受的范围内。

常见的几种优化方案可以包括:

  • 不处理

  • 延时双删

  • 订阅Binlog

3 种方案从简单到复杂,可以根据业务需要选择最合适的优化方案。

  • 不处理

不处理是最简单的方式了,即数据库与缓存中的数据不一致时在业务允许的情况下不做处理。虽然有点不合适,但是很香!

  • 延时双删

延时双删可以用来优化在先缓存后数据库中的并发问题:

  1. 线程A删除缓存成功

  2. 线程B读取缓存未命中

  3. 线程B从数据库中获取数据

  4. 线程B将数据库中的数据写入缓存

  5. 线程A写入数据库成功

  6. 线程A休眠1秒然后删除缓存

这种方案增加第6步,写入数据库完成后使写入线程休眠1秒,然后再将缓存数据删除掉,使其他线程再次读取数据时导致缓存未命中从数据库获取数据并更新缓存。

这个1秒怎么确定的,具体该休眠多久呢?

针对上面的情形,应该自行评估自己的项目的读数据业务逻辑的耗时。然后写数据的休眠时间则在读数据业务逻辑的耗时基础上,加几百ms即可。这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。

采用这种同步淘汰策略,吞吐量降低怎么办?

第二次删除作为异步的。自己起一个线程,异步删除。这样,写的请求就不用沉睡一段时间后了,再返回。这么做,加大吞吐量

  • binlog订阅

使用binlog订阅,这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis,Redis再根据binlog中的记录,对Redis进行更新

其实这种机制,很类似MySQL的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性。

这里可以结合使用canal(阿里的一款开源框架),通过该框架可以对MySQL的binlog进行订阅,而canal正是模仿了mysql的slave数据库的备份请求,使得Redis的数据更新达到了相同的效果。

当然,这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新缓存。

image
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容