分布式缓存

Redis

C语言开发的,开源高性能(11w/s读,9w/s写),键值对 内存数据库

缓存读写模式

  • Cache Aside Pattern
    读的时候,先读缓存,缓存没有的话,就读数据库,然后取出数据后放入缓存
  • Read/Write Through Pattern
    应用程序只操作缓存,缓存操作数据库。
  • Write Behind Caching Pattern
    应用程序只更新缓存。 缓存通过异步的方式将数据批量或合并后更新到DB中

Redis应用场景

  • 缓存使用
  • 临时数据存储
  • 任务队列
  • 排行榜
  • 签到 bitmap
  • 分布式锁

Redis配置文件

/redis.conf/

#bind 127.0.0.1
#protected-mode no
daemonize yes

Redis数据类型

Redis命令忽略大小写,key区分大小写
key的类型是字符串
user:10:username user表id10 的username字段
value的类型
- string 字符串类型
- int、raw、embstr
- list 列表类型
- quicklist
- set 集合类型
- 压缩列表和 skiplist + dict (跳跃表+字典)
- sortedset 有序集合类型
- hash
- dict 字典 和 ziplist压缩列表

Redis持久化

持久化是为了快速的恢复数据,而不是为了存储数据

RDB优缺点

  1. RDB是二进制文件,占用空间小,便于传输
    主进程fork子进程,最大化redis性能,主进程不能太大,redis数据量不能太大,复制过程中主进程阻塞。

  2. 不保证数据完整性,会丢失最后一次快照之后更改的数据

AOF(append only file)

数据库写入的命令及参数 记录到AOF文件,Redis重启按顺序回放这些命令,会恢复到原始状态。

应用场景

  • 内存数据库 rdb+aof,数据不容易丢失
  • 缓存服务器 rdb 性能高

底层数据结构

Redis实例对应db以编号区分,db是key的命名空间
user:100 user命名空间下id为100的元素

type

  • SDS(simple Dynamic String),存储字符串和整形数据,存储key
  • 跳跃表,
  • 字典
  • 压缩列表,zset和hash 元素个数少且是小整数或短字符串
  • 整数集合(intset),有序的(整数升序)、存储整数的连续存储结构
  • 快速列表

缓存过期和淘汰策略

删除策略

  • 定时删除
  • 惰性删除
  • 主动删除
    • LRU淘汰机制,从数据集中随机挑选几个键值对,取出LRU最大的键值对淘汰
    • LFU,最近访问使用次数少的淘汰
    • Random

缓存架构设计

  • JVM缓存
    • 对性能要求高
    • 变动小
  • 文件缓存
  • Redis缓存

缓存问题

  • 缓存穿透,访问缓存中不存在的key
  • 缓存雪崩,大量缓存集中在某一个时间段失效
  • 缓存失效,设置过期时间的某些key 失效了,瞬间被高并发访问

数据最终一致性

  1. 先更新数据库同时删除缓存项(key),等读的时候再填充缓存
  2. 2秒后再删除一次缓存项(key) ,1、2 构成延时双删
  3. 设置缓存过期时间 Expired Time 比如 10秒 或1小时
  4. 将缓存删除失败记录到日志中,利用脚本提取失败记录再次删除(缓存失效期过长 7*24)

分布式锁

利用Watch实现Redis乐观锁

  1. 利用redis的watch功能,监控这个redisKey的状态值
  2. 获取redisKey的值
  3. 创建redis事务
  4. 给这个key的值+1
  5. 然后去执行这个事务,如果key的值被修改过,事务执行失败 ,key不加1

Redis集群

集群优势

  1. 高可用,集群的故障转移
  2. 高性能,读写分离,多台计算能力
  3. 高扩展,横向主机扩展
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容