Redis之事件

本文主要介绍Redis的事件驱动,说明其内部实现机制。

I、上帝视角看Redis的事件驱动

Redis服务器是一个事件驱动程序,需要处理两类事件:

1、文件事件:Redis服务器通过socket与客户端连接,而文件事件就是服务器对socket操作的抽象。服务器与客户端的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列网络操作。

2、时间事件:Redis服务器中的一些操作(如ServerCron)需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象。

II、文件事件

Redis基于Reactor模式开发了自己的网络事件处理器,这个处理器被称为文件事件处理器。

· 文件事件处理器使用I/O多路复用程序来同时监听多个socket,并根据socket目前执行的任务来为socket关联不同的事件处理器
· 当被监听的socket准备好执行连接应答(accept),读取(read),写入(write),关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用socket之前关联好的事件处理器来处理这些事件。

2.1 文件事件处理器的构成

下图展示了文件事件处理器的四个组成部分:socketI/O多路复用程序文件事件分派器,以及事件处理器

1、文件事件是对socket操作的抽象,当一个socket准备好执行accept, read,等操作时,就会产生一个文件事件。

2、I/O多路复用程序负责监听多个socket,并向文件事件分派器传送产生事件的socket。

3、尽管多个文件事件可能会并发的出现,但I/O多路复用程序总是会将所有产生的事件socket都放到一个队列中,然后通过这个队列,以有序同步,每次一个socket的方式向文件事件分派器传送。当上一个socket处理完毕后(该socket为事件所关联的事件处理器执行完毕),I/O多路复用程序才会继续向文件事件分派器传送下一个socket:

4、文件事件分派器接收I/O多路复用程序传来的socket,并根据socket产生的事件类型,调用相应的事件处理器(不同的函数)。

2.2 I/O多路复用程序的实现

1、Redis的I/O多路复用程序的所有功能都是通过包装selectepoll等函数库实现的。

2、Redis为每个I/O多路复用函数库都实现了相同的API,所以I/O多路复用程序的底层实现是可以互换的。

3、Redis为I/O多路复用程序定义了相应的规则,程序会在编译时自动选择系统中性能最高的函数库来作为其底层实现。

2.3 事件的类型

I/O多路复用程序允许服务器同时监听socket的AE_READABLE事件和AE_WRITABLE事件,如果一个套接字同时产生了这两种事件,则文件事件分派器会优先处理可读事件,后处理可写事件

2.4 文件事件的处理器

Redis为文件事件编写了多个处理器,这些处理器分别用于实现不同的网络通信需求。

1、连接应答处理器
networking.c/acceptTcpHandler函数是连接应答处理器,这个处理器用于对连接服务器监听socket的客户端进行应答,具体为sys/socket.h/accept函数的封装。

2、命令请求处理器
networking.c/readQueryFromClient函数是命令请求处理器,负责从socket中读取客户端发送的命令请求内容,具体为对unistd.h/read函数的封装。

3、命令回复处理器
networking.c/sendReplyToClient函数是Redis命令的回复处理器,这个处理器负责将服务器执行命令后得到的结果通过socket返回客户端,具体为unistd.h/write函数的封装。

4、一次完整的连接事件示例

  1. Redis服务器正在运作,这个服务器的监听socket的AE_READABLE事件处于监听状态之下,而该事件所对应的处理器为连接应答处理器
    如果这时有一个客户端向服务器发起连接,则监听socket会产生AE_READABLE事件,触发连接应答处理器执行。处理器对客户端的连接请求进行应答,创建客户端socket,以及客户端状态,并将客户端socket的AE_READABLE事件与命令请求处理器进行关联,使得客户端可以向服务器发送命令请求。

  2. 客户端发送命令请求,客户端socket会产生AE_READABLE事件,引发命令请求处理器执行,处理命令内容。

  3. 执行命令所产生的回复,服务器将客户端socket的AE_WRITEABLE事件与命令回复处理器进行关联。当客户端尝试读取命令回复的时候,客户端socket将产生AE_WRITEABLE事件,触发命令回复处理器执行,将回复命令写入客户端socket。

III、时间事件

1、Redis的时间事件分为两类: 定时事件周期性事件

2、一个时间事件主要由以下三个属性组成:
· id:服务器为时间事件创建的全局唯一ID。ID号按从小到大的顺序递增,新事件的ID号比旧事件的ID号要大。
· when:毫秒精度的UNIX时间戳,记录了时间事件的到达时间。
· timeProc:时间事件处理器,一个函数。当时间事件到达时,服务器就会调用相应的处理器来处理事件。

3、一个时间事件是定时时间还是周期性事件取决于时间事件处理器的返回值:
· 如果返回值为ae.h/AE_NOMORE,则这个事件为定时事件:该时间在达到一次之后就会被删除。
· 如果事件处理器返回一个非AE_NOMORE的整数值,则返回值就是周期性时间。

目前Redis版本中,只使用周期性事件,没有使用定时事件。

3.1 实现

服务器将所有时间事件都存放到一个无序链表中,每当时间事件执行运行时,就遍历整个链表,查找所有已到达的时间事件,并调用相应的时间处理器:

目前版本中,正常模式下的Redis服务器只使用serverCron一个时间事件,在这种情况下,服务器几乎是将无序链表退化成一个指针来使用,所以,以链表的方式存储并不会影响其性能。

IV、事件的调度与执行

以下是事件的调度和执行规则

1、aeApiPoll(等待文件事件产生)函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询(忙等待),也可以保证aeApiPoll函数不会阻塞过程时间。

2、因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将再次等待并处理文件事件。随着文件事件的不断执行,时间会逐渐向时间事件设置的到达时间逼近,并最终来到到达时间,这是服务器就可以开始处理到达的时间事件了。

3、对文件事件和时间事件的处理都是同步、有序、原子的执行的,服务器不会中途中断事件处理,也不会对事件进行抢占,因此,不管是文件事件的处理器,还是时间事件的处理器,它们都会尽可能减少程序的阻塞时间,并在有需要的时候主动让出执行权,从而降低造成事件饥饿的可能性。
例如,在命令回复处理器将一个命令回复写入到客户端socket时,如果写入字节数超过了一个预设常量的话,命令回复处理器会主动用break跳出写入循环,将余下的数据流到下次再写;另外,时间事件也会将非常好使的持久化操作放到子进程中执行。

4、因为时间事件在文件事件执行之后执行,并不会对文件事件进行抢占,所以通常时间事件的实际处理时间,会比所设定的时间稍晚一些。

【参考】
[1] 《Redis设计与实现》

欢迎转载,转载请注明出处wenmingxing Redis之事件

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342