Redis 实战 —— 07. 复制、处理故障、事务及性能优化

复制简介 P61

关系型数据库通常会使用一个主服务器 (master) 向多个从服务器 (slave) 发送更新,并使用从服务器来处理所有读请求。 Redis 也采用了同样的方法实现自己的复制特性,并将其用作扩展性能的一种手段。 P69

在接收到主服务器发送的数据初始副本 (initial copy of the data) 之后,客户端每次向主服务器进行写入时,从服务器都会实时地得到更新。 P69

复制 P62

对于一个正在运行的 Redis 服务器,用户可以通过发送 SLAVEOF NO ONE 命令来让服务器终止复制操作,不再接受主服务器的数据更新;也可以通过发送 SLAVEOF host port 命令来让服务器开始复制一个新的主服务器。 P69

配置选项
# 设置本机为指定服务器的从服务器
#
# slaveof <master-host> <master-port>

# 当主服务器设置了密码保护时(用 requirepass 指定的密码)
# 从服务器服务连接主服务器需要设置相应的密码
#
# masterauth <master-password>


# 当从服务器 与主服务器失去连接 或者 正在进行复制 时
# yes: 从服务器会继续响应客户端的请求(默认 yes)
# no: 除了 INFO 和 SLAVOF 命令之外的任何请求都会
#     返回一个错误 "SYNC with master in progress"
#
slave-serve-stale-data yes

# 从服务器每隔一定时间会向主服务器发送 ping
# 默认 10 秒
#
# repl-ping-slave-period 10

# ping 回复 或 主服务器批量数据传输 超时时长
# 默认 60 秒
# 确保 repl-timeout 大于 repl-ping-slave-period
#
# repl-timeout 60
从服务器连接主服务器时的步骤 P70
步骤 主服务器操作 从服务器操作
1 (等待命令进入) 连接(或者重连)主服务器,发送 SYNC 命令
2 开始执行 BGSAVE ,并使用缓冲区记录 BGSAVE 之后执行所有写命令 根据配置选项 (slave-serve-stale-data) 来决定是继续使用现有的数据(如果有的话)来处理客户端的命令请求,还是向客户端返回错误
3 BGSAVE 执行完毕,向从服务器发送快照文件,并在发送期间继续使用缓冲区记录被执行的写命令 丢弃所有旧数据(如果有的话),开始载入主服务器发来的快照文件
4 快照文件发送完毕,开始向从服务器发送存储在缓冲区里面的写命令 完成对快照文件的解释操作,像往常一样开始接受命令请求
5 缓冲区存储的写命令发送完毕;从现在开始,每执行一个写命令,就向从服务器发送相同的写命令 执行主服务器发来的所有存储在缓冲区里面的写命令;并从现在开始,接受并执行主服务器传来的每个写命令

在实际中最好让主服务器只使用 50% ~ 65% 的内存,留下 30% ~ 45% 的内存用于执行 BGSAVE 命令和创建记录写命令的缓冲区。 P70

从服务器在进行同步时,会清空自己的所有数据。 P70

Redis 不支持主主复制 (master-master replication) P71

当一个从服务器连接一个已有的主服务器时,有时可以重用已有的快照文件: P71

  • 步骤 3 尚未执行:所有从服务器都会接收到相同的快照文件和相同的缓冲区写命令
  • 步骤 3 正在执行或已经执行完毕:当主服务器与比较早进行连接的从服务器执行完复制所需的 5 个步骤之后,主服务器会与新连接的从服务器执行一次新的步骤 1 至步骤 5
主从链 P71

Redis 的主服务器和从服务器没有什么特别不同的地方,所以从服务器也可以拥有自己的从服务器,并由此形成主从链 (master/slave chaining) 。 P71

不过,如果从服务器 X 拥有从服务器 Y ,那么当从服务器 X 在执行步骤 4 时,它将断开与从服务器 Y 的连接,导致从服务器 Y 需要重新连接并重新同步。 P71

当读请求比写请求重要,且读请求的数量远远超过一台 Redis 服务器可以处理的范围时,就需要添加新的从服务器来处理读请求。随着负载不断上升,主服务器可能会无法快速地更新所有从服务器,或者因为重新连接和重新同步从服务器而导致系统超载。为了缓解这个问题,可以创建一个由 Redis 主从节点 (master/slave node) 组成的中间层来分担主服务器的复制工作。 P71

通过同时使用复制和 AOF 持久化,用户可以增强 Redis 对于系统崩溃的抵抗能力。 P73

处理系统故障

验证快照文件和 AOF 文件

redis-check-aof [--fix] <file.aof> 可以检查 AOF 文件,并且可以进行修复:将第一个出错命令(大部分情况下在文件末尾)及之后的所有命令删除。 P74

redis-check-dump <dump.rdb> 可以检查快照文件。快照文件目前无法进行修复,因为快照文件本身进行了压缩。 P74

事务

Redis 事务的作用: P76

  • 防止数据出错
  • 在某些情况下提升性能。利用事务一次性发送多个命令,然后等待所有回复出现实现流水线 (pipeline)。通过减少客户端与 Redis 服务器之间的网络通信次数来提升 Redis 在执行多个命令时的性能。

关系数据库事务与 Redis 事务的区别: P76

  • 关系数据库:先向数据库服务器发送 BEGIN ,然后执行各个相互一致 (consistent) 的读写操作,最后可以选择发送 COMMIT 来确认之前的修改,或者发送 ROLLBACK 来放弃之前的修改。
  • Redis :以特殊命令 MULTI 开始,然后传入多个命令,最后以 EXEC 结束,并依次执行传入的命令。Redis 事务不能以一致的形式读取数据,使得某一类型的问题难以解决,且无法实现二阶段提交。

通过使用 WATCH, MULTI/EXEC, UNWATCH/DISCARD 等命令,程序可以在执行某些重要操作时,通过确保自己正在使用的数据没有发生变化来避免出错。 P78

  • WATCH: 使用 WATCh 对键进行监视之后,直到用户执行 EXEC 的这段时间里面,如果有其他客户端抢先对任何被监视的键进行了替换、更新或删除等操作,那么当用户尝试执行 EXEC 时,事务将失败并返回一个错误。(之后用户可选择重试事务或者放弃事务)
  • UNWATCH: 可以在 WATCH 执行之后、 MULTI 执行之前对连接进行重置 (reset)
  • DISCARD: 可以在 MULTI 执行之后、 EXEC 执行之前对连接进行重置,即取消 WATCH 并清空所有已入队命令

为什么 Redis 没有实现典型的加锁功能? P82

  • 加锁是悲观锁,持有锁的客户端运行越慢,等待解锁的客户端被阻塞的时间越长
  • WATCH 是乐观锁,客户端不必等待取得锁,只需要在事务执行失败时重试即可,乐观锁可以提高并发能力

非事务型流水线 (non-transactional pipeline)

对于无需事务的大量操作可以使用非事务型流水线,可以避免事务消耗资源。

Python 中通过修改入参即可将事务改为非事务型流水线,而 Go 中根据具体框架的不同,可能需要手动封装流水线的处理逻辑。

性能优化

要对 Redis 的性能进行优化,首先需要弄清楚各种类型的 Redis 命令能跑多块,而这一点可以通过调用 Redis 附带的性能测试程序 redis-benchmark 得知。 P85

切记不要将输出结果看作是应用程序的实际性能,因为 redis-benchmark 不会处理执行命令所获得的命令回复,所以它节约了大量用于对命令回复进行语法分析的时间。 P86

可能影响性能的原因 P86
  • 未使用流水线:可视情况适当使用流水线
  • 对于每个命令或每组命令都创建了新的连接:使用连接池重用 Redis 连接
  • Redis 的数据结构或命令不合理(value 非常大,使用 keys, hgetall 等):优化数据结构和命令
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容