redis服务器是一个事件驱动程序,服务器需要处理以下两类事件:
- 文件事件:redis服务器通过套接字与客户端(或者其他redis服务器)进行连接,而文件事件就是服务器对套接字操作的抽象。服务器与客户端(或者其他redis服务器)的通信会产生相应的文件事件,而服务器通过监听并处理这些事件来完成一系列网络通信操作。
- 时间事件:redis服务器中的一些操作(比如serverCron函数)需要在给定的时间点执行,而时间事件就是对这类定时操作的抽象。
文件事件
redis基于Reactor模式开发了自己的网络事件处理器,即文件事件处理器。文件事件处理器以单线程方式运行。文件事件处理器通过使用I/O多路复用程序来监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。当被监听的套接字准备好执行连接应答,读取,写入,关闭等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。
文件事件处理器的构成
文件事件处理器的四个组成部分.png文件事件处理器的四个组成部分,分别是套接字,I/O多路复用程序,文件事件分派器(dispatch),以及事件处理器。
文件事件是对套接字操作的抽象,每当一个套接字准备好执行连接应答,写入,读取,关闭等操作时,就会产生一个文件事件。尽管多个文件事件可能会并发的出现,但I/O多路复用程序总是将所有产生事件的套接字都放到一个队列里面,然后通过这个队列,有序,同步,每次一个套接字的方式传送套接字给文件事件分派器。当上一个套接字产生的事件处理完毕后,I/O多路复用程序才会向文件事件分派器传送下一个套接字。
I/O多路复用程序的实现
redis的I/O多路复用程序的所有功能都是通过包装常见的select, epoll, evport和kqueue这些I/O多路复用函数库来实现的,每个函数库在redis都是单独一个文件。而redis为每个I/O多路复用函数库都实现了相同的API,所以I/O多路复用程序的底层实现是可以互换的。
程序会在编译时自动选择系统中性能最高的I/O多路复用函数库来作为redis的I/O多路复用程序的底层实现。
如果一个套接字可读又可写的话,服务器将会先读套接字,后写套接字。
时间事件
redis的时间事件分为以下两类:(目前版本的redis只使用周期性事件,而没有使用定时事件。)
- 定时事件:让一段程序在指定的时间之后执行一次。比如说,让程序X在当前时间的30毫秒之后执行一次。
- 周期性事件:让一段程序每隔指定时间就执行一次。比如说,让程序Y每隔30毫秒就执行一次。
实现
服务器将所有时间事件都放在一个无序链表中,每当时间事件执行器运行时,它就遍历整个链表,查找所有已到达的时间事件,并调用相应的事件处理器。
而在目前版本中,正常模式下的redis服务器只使用serverCron一个时间事件,在benchmark模式下,服务器也只使用两个时间事件。所以说,使用无序链表(因为链表没有按照when属性来排序,所以每次时间时间起运行时,都必须遍历链表中的所有时间事件,所以称为无序链表)来保存时间事件,并不影响事件执行的性能。
事件的调度与执行
# ae.c/aeProcessEvents函数的伪代码
def aeProcessEvents():
# 获取到达时间离当前时间最接近的时间事件
time_event = aeSearchNearestTimer()
# 计算最接近的时间事件距离到达还有多少毫秒
remaind_ms = time_event.when - unix_ts_now()
# 如果事件已到达,那么remind_ms的值可能为负数,将它设定为0
if remaind_ms < 0:
remaind_ms = 0
# 根据remaind_ms的值,创建timeval结构
timeval = create_timeval_with_ms(remaind_ms)
# 阻塞并等待文件事件产生,最大阻塞时间由传入的timeval结构决定
# 如果remaind_ms的值为0,那么aeApiPoll调用之后马上返回,不阻塞
aeApiPoll(timeval)
# 处理所有已产生的文件事件
processFileEvent()
# 处理所有已到达的时间事件
processTimeEvent()
redis服务器的主函数的伪代码实现如下:
def main():
# 初始化服务器
init_server()
# 一直处理事件,知道服务器关闭为止
while server_is_not_shutdown():
aeProcessEvents()
# 服务器关闭,执行清理操作
clean_server()
事件处理角度下的服务器运行流程.png
事件的调度和执行规则:
- aeApiPoll函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方法既可以避免对时间事件进行频繁的轮询(忙等待),也可以确保aeApiPoll函数不会阻塞过长时间。
- 因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将再次等待并处理文件事件。
- 对文件事件和时间事件的处理都是同步,有序,原子地执行的,服务器不会中途中断事件处理,也不会对事件进行抢占。所以,文件事件的处理器,时间事件的处理器都会尽可减少程序的阻塞时间,并在有需要时主动让出执行权,降低事件饥饿的可能性。比如说,在命令回复处理器将一个命令回复写入客户端套接字时,如果写入字节数超过了一个预设常量的话,命令回复处理器就会主动用break跳出写入循环,将余下的数据留到下次再写。另外,时间事件也会将非常耗时的持久化操作放到子线程或者子进程执行。
- 因为时间事件在文件事件之后执行,并且事件之间不会出现抢占,所以时间事件的实际处理时间,通常会比时间事件设定的到达时间稍晚一些。
总结
- redis服务器是一个事件驱动程序,服务器处理的事件分为时间事件与文件事件两类。
- 文件事件处理器是基于Reactor模式实现的网络通信程序。
- 文件事件分为AE_READABLE事件(读事件)和AE_WRITABLE(写事件)两类。
- 文件事件和时间事件之间是合作关系,服务器会轮流处理这两种事件,并且处理事件的过程中也不会进行抢占。
- 时间事件的实际处理时间通常会比设定的到达时间晚一些。
网友评论