Apache RocketMQ 刷盘策略与复制策略
Apache RocketMQ 系列:
Apache RocketMQ之JMS基本概念及使用:https://www.jianshu.com/p/d2e3fd77c4f4
Apache RocketMQ 基础概念及架构解析:https://www.jianshu.com/p/95ab928960b3
Apache RocketMQ 的基础特性介绍:https://www.jianshu.com/p/570680b32590
Apache RocketMQ 集群搭建(两主两从):https://www.jianshu.com/p/b090138cf52c
Apache RocketMQ 刷盘策略与复制策略: https://www.jianshu.com/p/d66b381428bb
RocketMQ 的所有消息都是持久化的,先写入系统 PAGECACHE,然后刷盘,可以保证内存与磁盘都有一份数据,访问时,直接从内存读取。
异步刷盘(ASYNC_FLUSH):
返回成功状态时,消息只是被写入内存 pagecache,写操作返回快,吞吐量达,当内存里的消息积累到一定程度时,统一出发写磁盘动作,快速写入。
在有 RAID 卡,SAS 15000 转磁盘测试顺序写文件,速度可以达到 300M 每秒左右,而线上的网卡一般都为千兆网卡,写磁盘速度明显快于数据网络入口速度,那举是否可以做到写完内存就吐用户返回,由后台线程刷盘呢?
由于磁盘速度大于网卡速度,那么刷盘的进度肯定可以跟上消息的写入速度。
-
万一由于此时系统压力过大,可能堆积消息,除了写入 IO,还有读取 IO,万一出现磁盘读取落后情况,
会不会导致系统内存溢出,答案是否定的,原因如下:a) 写入消息到 pagecache 时,如果内存不足,则尝试丢弃干净的 page,腾出内存供新消息使用,策略是 LRU 方式。
b) 如果干净页不足,此时写入 pagecache 会被阻塞,系统尝试刷盘部分数据,大约每次尝试 32 个 page,来找出更多干净 page。
综上,内存溢出的情冴不会出现。
同步刷盘(SYNC_FLUSH):
返回成功状态时,消息已经被写入磁盘。
消息写入内存 pagecache 后,立即通知刷盘线程,刷盘完成后,返回消息写成功的状态。
同步刷盘与异步刷盘的唯一区别是异步刷盘写完 pagecache 直接返回,而同步刷盘需要等待刷盘完成才返回,
同步刷盘流程如下:
写入 pagecache 后,线程等待,通知刷盘线程刷盘。
刷盘线程刷盘后,唤醒前端等待线程,可能是一批线程。
前端等待线程吐用户返回成功。
复制策略:
同步复制(SYNC_MASTER):
master 和 slave 都写成功后返回成功状态。好处是如果master出故障,slave上有全部备份,容易恢复。缺点是增大延迟,降低吞吐量。
异步复制(ASYNC_MASTER):
只要 master 写成功就返回成功状态。好处是低延迟、高吞吐,缺点是如果 master 出故障,数据没有写入 slave,就会有丢失。