Redis事务
如何使用Redis事务?
Redis可以通过multi,exec,discard和watch等命令来实现事务功能。
使用multi命令后可以输入多个命令。Redis会将这些命令放到队列中,调用了exec命令后执行所有命令(队列中的命令按照FIFO顺序执行)。
而discard则可以清除队列中的所有命令。
watch命令用于监听指定的键。当调用exec命令执行事务时,如果一个被watch命令监视的键被修改的话,整个事务都不会执行,直接返回失败。
Redis支持原子性么?
事务的四大特性:原子性,隔离性,一致性,持久性。
而Redis事务在运行错误的情况下,除了执行过程中出现错误的命令外,其它命令都能正常执行。并且Redis不支持回滚,因为Redis事务其实不满足原子性。
你可以将Redis事务理解成:Redis事务提供了一种将多个命令请求打包的功能。然后再按顺序执行打包的所有命令,并且不会被中途打断。
如何解决Redis事务的缺陷?
redis从2.6版本开始支持Lua脚本,它的功能和事务非常类似。我们可以利用Lua脚本来批量执行多条Redis命令。这些Redis命令会被提交到Redis服务器一次性执行完成,减小了网络开销。
Lua脚本运行出错时,出错之后的命令不会执行,但是之前的命令无法撤销,所以其实Lua脚本也是不满足原子性的。
Redis性能优化
Redis Bigkey
简单来说,如果一个key对应的value所占用的内存比较大,那么这个key可以看作是bigkey。String类型超过10kb,复合类型value包含的元素超过5k个就算是bigkey。
bigkey除了会消耗更多的内存空间,对性能也会有比较大的影响。因为我们要避免写入bigkey。
可以使用Redis自带的** --bigkeys**参数来查找
这个命令会扫描Redis中的所有key,会对性能有一点影响。并且这种方式只能找出每种数据结构的第一个bigkey。
也可以分析RDB文件,前提是Redis采用了RDB持久化。网上有现成的代码/工具可以拿来用:
- redis-rdb-tools :Python 语言写的用来分析 Redis 的 RDB 快照文件用的工具
- rdb_bigkeys : Go 语言写的用来分析 Redis 的 RDB 快照文件用的工具,性能更好。
大量key集中过期问题
对于过期key,redis采用定期删除+惰性删除策略。
定期删除执行过程中,如果突然遇到大量过期的key的话,客户端请求必须等待定期清理过期key任务线程执行完成。因为这个定期任务线程是Redis主线程中执行的,这就导致客户端请求没有办法即使处理,响应速度会比较慢。
有两种方法解决:
- 给key设置随机过期时间
- 开启惰性删除/延迟释放。这个是Redis4.0引入的,指的是让Redis采用异步方式延迟释放key使用的内存。将该操作交给单独的子线程处理,避免阻塞主线程。
Redis生产问题
缓存穿透
什么是缓存穿透?
缓存穿透简单说就是大量请求的key不存在于缓存中,导致请求直接到了数据库上,根本没经过缓存这一层。
有哪些解决办法?
最近本的就是首先做好参数校验,一些不合法的参数请求直接抛出异常信息。比如数据库id不能小于0,传入的邮箱格式不对直接返回等。
- 缓存无效key
如果缓存和数据库都查不到某个key的数据,就写一个到Redis中并设置过期时间。这种情况可以解决请求的key变化不频繁的情况下。如果黑客攻击每次构建不同的请求key,会导致Redis中缓存大量无效的key,很明显折中方案不能从根本上解决这个问题。如果非要用这种方式,我们可以尽量把过期时间设置短一点。 -
布隆过滤器
这是一个神奇的数据结构,我们可以非常方便的判断给定数据是否存在于海量数据中,我们需要的就是判断key是否合法。如果不合法直接返回。
缓存雪崩
什么是缓存雪崩?
缓存在同一时间大面积的失效,后面的请求都直接落到数据库上,造成了数据库短时间承受大量请求。这就好比雪崩一样。
举个例子,如果缓存模块宕机了,造成所有的访问都要走数据库。
还有一种场景是:有一些被大量访问的热点数据在某一时刻大面积失效。导致对应的请求直接落到数据库上。
有哪些解决办法?
针对服务不可用,可以:
- 采用Redis集群,避免单机出现问题而整个缓存服务都没办法使用
- 限流,避免同时处理大量的请求
针对热点缓存失效,可以:
- 设置不同的失效时间(比如随机失效时间)
- 缓存永不失效
如何保证缓存和数据库的一致性?
其实这个方法很多,但是引入缓存以后,为了短时间的不一致让系统更复杂的话没必要,所以下面说一种比较简单直接的方法:Cache Aside Pattern(旁路缓存模式).
其实简单来说,如果数据库中数据更新,直接删除缓存。
而如果删除缓存这一步失败的话,有两个解决方案:
- 缓存失效时间设置很短(治标不治本,如果能接收短时间不一致可以)
- 增加缓存更新重试机制:如果删除失败则隔一段时间就重试一下。或者把失败的key加入队列中,等缓存服务器可用后再把对应的key删除。
本篇笔记就记到这里,如果稍微帮到你了记得点个喜欢点个关注。也祝大家工作顺顺利利!