Redis服务器是典型的一对多服务器程序,一个服务器可以与多个客户端建立网络连接,每个客户端可以向服务器发送命令请求,而服务器则接收并处理客户端发送的命令请求,并向客户端返回回复命令。
对于每个客户端连接,服务器都会建立相应的RedisClient结构(客户端状态),并保存在服务器的状态的clients属性中,clients属性是一个链表结构,保存了所有与服务器连接的客户端的状态结构。、
struct redisServer{
// ...
// 一个链表,保存了所有的客户端连接
list *clients;
// ...
} redisClient
1 客户端属性
1.1 套接字描述符
客户端状态的fd属性记录了客户端正在使用的套接字描述符,根据客户端的类型不同,fd的属性可以是-1或者是大于-1的整数。
(1) 伪客户端:fd属性的值是-1,伪客户端处理的命令请求来源于AOF文件或者Lua脚本,而不是网络,所以这种客户端不需要套接字连接,所以也不用套接字描述符。Redis会在AOF载入并还原客户端状态和执行Lua脚本中包含的Redis命令使用伪客户端。
(2) 普通客户端:放到属性值大于-1的整数,普通客户端使用套接字来与服务器进行通信,所以服务器会使用fd属性来记录客户端的套接字的描述符。
1.2 输入缓冲区
客户端状态的输入缓冲区用于保存客户端发送的命令请求,客户端发送的请求会以协议的格式保存在缓冲区中:
struct redisServer{
// ...
sds querybuf;
// ...
} redisClient
querybuf属性是一个SDS值,缓冲区的值会根据输入内容动态的缩小或扩大,但是它的最大大小不超过1GB,否则服务器将会关闭这个客户端。
1.3 命令与命令参数
在服务器将客户端发送的命令请求保存到客户端的querybuf属性之后,服务器会对命令请求的内容进行分析,并将得到的命令参数以及命令参数的个数分别保存到客户端状态的argv属性和argc属性:
struct redisServer{
// ...
robj **argv;
int argc;
// ...
} redisClient
argv是一个数组,数组中的每一项保存的都是一个字符串对象,其中argv[0]是要执行的命令,而之后的其他项则是传给命令的参数。
argc属性记录argv数组的长度。
例如,客户端执行:
127.0.0.1:6379> SET KEY VALUE
那么客户端输入缓冲区会先将命令请求保存在客户端缓冲区中,之后服务器对命令分析,服务器会根据分析的结构创建如下的结构:
1.4 命令的实现函数
当服务从协议内容中分析并得出argv属性和argc属性的值后,服务器会根据argv[0]的值,在命令表中查询命令所对应的命令实现函数。命令表是一个字典,字典的键是一个SDS结构,保存了命令的名字,字典的值是命令所对应的是RedisCommand结构,这个结构保存了命令的实现函数,命令应该给定的参数个数等。
当在命令表中找到argv[0]所对应的redisCommand结构时,它会将客户端状态cmd指针指向这个结构。如对于上面的SET KEY VALUE命令:
注:针对命令表的查找操作不区分输入字母的大小写。
1.5 输出缓冲区
执行的命令所得的回复会被保存在客户端状态的输出缓冲区中,每个客户端都有两个输出缓冲区可用,固定大小的缓冲区和可变大小的缓冲区。
(1) 固定大小的缓冲区用于保存那些长度比较小的回复,默认大小是16KB。
(2) 可变大小的缓冲区用于保存那些长度较大的回复。
固定大小的缓冲区是由buf数组和hufpos两个属性组成:
struct redisServer{
// ...
char buf[REIDS_REPLY_CHUNK_BYTES];
int bufpos;
// ...
} redisClient
(1) buf是一个大小为REIDS_REPLY_CHUNK_BYTES字节的字节数组,其值大小默认为16*1024,即16KB。
(2) bufpos记录数组目前的已使用的数量。
下图表示输出缓冲区保存的OK回复:
当buf数组的空间使用完,或者回复因为太大而无法保存到buf数组里时,服务器就使用可变大小的换从区。可变大小缓冲区由reply链表和一个或多个字符串对象组成,通过使用链表来连接多个字符串,服务器可以保存一个非常长的命令回复,而不必受到16KB大小的限制。
2 客户端的创建与关闭
2.1 创建普通客户端
如果客户端通过网络连接与服务器进行连接的普通客户端,那么在客户端使用connect函数连接到服务器时,服务器就会为客户端创建相应的客户端状态,并将这个新的客户端状态添加到服务状态结构clients链表的表尾。如下图表示客户端c3连接到服务器。
2.2 关闭普通客户端
一个普通客户端可以因为多种原因而被关闭:
(1) 如果普通客户端进程退出或者被杀死,那么客户端与服务器之间的网络连接将被关闭。
(2) 如果客户端向服务器发送了一个不符合协议格式的命令请求,那么这个客户端也会被服务器关闭。
(3) 如果客户端成为了CLIENT KILL命令的目标,那么它也会被关闭。
(4) 如果客户端发送的命令请求超过了输入缓冲区的大小(默认为1GB),那么这个客户端会被关闭。
(5) 如果要发送给客户端的命令回复的大小超过了输出缓冲区的限制大小,那么这个客户端会被服务器关闭。
可变大小的缓冲区是由一个链表和任意多个字符串对象组成,理论上说,可变缓冲区可以保存任意长的命令回复。
但是,为了避免客户端的回复过大,占用过多的服务器资源,服务器会时刻检查客户端的输出缓冲区的大小,并在缓冲区的大小超出范围时,执行相应的限制操作。
服务器使用两种模式来限制客户端缓冲区的大小:
(1) 硬性限制(hard limit):如果输出缓冲区大小超过了硬性限制所设置的大小,那么服务器会立刻关闭客户端。
(1) 软性限制(soft limit):如果输出缓冲区的大小超过了软性限制所设置的大小,但是还没有超过硬性限制,那么服务器会让客户端记录客户端到达软性限制的起始时间;之后服务器会继续监视客户端,如果输出缓冲区的大小一直超出软性限制, 井且持续时间超过服务器设定的时长,那么服务器将关闭客户端;相反地,如果输出缓冲区的大小在指定时间之内,不再超出软性限制,那么 客户端就不会被关闭,同时记录的时间也会被清零。
2.3 Lua脚本伪客户端
服务器会在初始化时创建负责执行Lua脚本中包含的Redis命令的伪客户端,并将这个伪客户端关联在服务器状态结构的lua_client属性中。lua_client伪客户端在服务器的整个生命周期中一直存在,只有服务器被关闭了,这个客户端才会被关闭。
2.4 AOF文件的伪客户端
服务器在载入AOF文件时,会创建用于执行AOF文件包含的Redis命令的伪客户端,并在载入完成后,关闭这个伪客户端。
3 小结
(1) 服务器状态结构使用clients链表连接起多个客户端状态,新添加的客户端状态会被放到链表的末尾。
(2) 客户端向服务器发送的命令请求会以协议的格式保存在客户端缓冲区中,之后服务器对命令请求的内容进行分析,并将得到的命令参数保存在客户端状态的数组中,数组的第一个元素保存的是执行的命令,服务器会根据这个执行命令到命令表中查询命令所对应的命令实现函数,然后调用命令执行函数得到返回结果,返回结果将保存在客户端的输出缓冲区中。
(3) 客户端有两种输出缓冲区:固定大小的缓冲区和可变大小的缓冲区,其中固定大小的缓冲区是用于保存较小的回复信息,用一个字节数组和一个记录数组当前长度的属性实现的,默认大小为16KB。可变大小的缓冲区是由一个链表和任意多个字符串实现的,用于保存较大的回复信息。
(4) 输出缓冲区限制有两种:如果输出缓冲区的大小超过了服务器设置的硬性限制,那么客户端会被立即关闭;除此之外,如果客户端在一定的时间内,一直超过服务器设置的软性限制,那么客户端也会被关闭。
(5) 当一个客户端通过网络连接连上服务器时,服务器会为这个客户端创建相应的客户端状态。网络连接关闭、发送了不合协议格式的命令请求、成为CLIENT KILL命令的目标、输出缓冲区的大小超过了限制等都会造成客户端被关闭。
本文完
注:本文参考《Redis设计与实现》,如发现错误,请指正!