在netty权威指南一书中,开篇即为四种i/o模型的分析, 原因是netty是基于异步非阻塞i/o实现的,那么在netty之前,都有什么样的i/o模型呢,除了我们最熟悉的同步阻塞i/o流,还有同步非阻塞和多路复用的技术。这里参考网上的一些博客,来做一个记录学习。
四种I/O模型
(1)同步阻塞IO(Blocking IO):即传统的IO模型。
(2)同步非阻塞IO(Non-blocking IO):默认创建的socket都是阻塞的,非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO(New IO)库。
(3)IO多路复用(IO Multiplexing):即经典的Reactor设计模式,有时也称为异步阻塞IO,Java中的Selector和Linux中的epoll都是这种模型。
(4)异步IO(Asynchronous IO):即经典的Proactor设计模式,也称为异步非阻塞IO。
同步和异步的概念描述的是用户线程与内核的交互方式:同步是指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行(用户态切换内核态,内核态处理结束才会返回用户态);而异步是指用户线程发起IO请求后仍继续执行之后的操作,当内核IO操作完成后会通知用户线程,或者调用用户线程注册的回调函数。(简单来说同步在执行IO操作时将主动权交给了内核,内核完成后才继续执行用户线程,异步是主动权一直在用户线程中。)
阻塞和非阻塞的概念描述的是用户线程调用内核IO操作的方式:阻塞是指IO操作需要彻底完成后才返回到用户空间;而非阻塞是指IO操作被调用后立即返回给用户一个状态值,无需等到IO操作彻底完成。
同步阻塞IO
最简单的IO模型,用户线程在读写时被阻塞。
数据拷贝指请求到的数据先存放在内核空间, 然后从内核空间拷贝至程序的缓冲区。
image.png
如图所示,用户线程通过系统调用read发起IO读操作,由用户空间转到内核空间。内核等到数据包到达后,然后将接收的数据拷贝到用户空间,完成read操作。(发送read请求后,用户态切换为内核态,数据拷贝完成,内核态切换成用户态)
(所谓内核空间即为各个操作系统,window,linux,甚至安卓或单片机,它们是tcp/ip协议的实现者。用户空间即为程序员所写出的代码所申请到的内存,我们将操作系统接收到的tcp数据报加载到我们的代码内存中,即为接收的数据拷贝到用户空间,完成read操作)
{
// read阻塞
read(socket, buffer);
// 处理buffer
process(buffer);
}
用户线程在IO过程中被阻塞,不能做任何事情,对CPU的资源利用率不高。
在java代码中,传统的socket+i/o流,诸如inputstream,outputstream均为同步阻塞的实现。
同步非阻塞IO
同步非阻塞IO是在同步阻塞IO的基础上,将socket设置为NONBLOCK。这样做用户线程可以在发起IO请求后可以立即返回。
如图所示,由于socket是非阻塞的方式,因此用户线程发起IO请求时立即返回。但并未读取到任何数据,用户线程需要不断地发起IO请求,直到数据到达后,才真正读取到数据,继续执行。(用户态<->内核态一直来回切换,直到数据拷贝完成。)
{
// read非阻塞
while(read(socket, buffer) != SUCCESS);
process(buffer);
}
用户线程每次请求IO都可以立即返回,但是为了拿到数据,需不断轮询,无谓地消耗了大量的CPU。一般很少直接使用这种模型,而是在其他IO模型中使用非阻塞IO这一特性。
(同步非阻塞虽然实现了非阻塞,但是完全没有改善效率,反而无限死循环导致大量的cpu资源消耗,反而不如同步阻塞模型的效率高。)
IO多路复用
IO多路复用模型是建立在内核提供的多路分离函数select基础之上的,使用select函数可以避免同步非阻塞IO模型中轮询等待的问题。(java的nio中的关键模块selector即为IO多路复用的实现。)
如图所示,用户首先将需要进行IO操作的socket添加到select中,然后阻塞等待select系统调用返回。当数据到达时,socket被激活,select函数返回。用户线程正式发起read请求,读取数据并继续执行。
从流程上来看,使用select函数进行IO请求和同步阻塞模型没有太大的区别,甚至还多了添加监视socket,以及调用select函数的额外操作,效率更差。但是,使用select以后最大的优势是用户可以在一个线程内同时处理多个socket的IO请求。用户可以注册多个socket,然后不断地调用select读取被激活的socket,即可达到在同一个线程内同时处理多个IO请求的目的。而在同步阻塞模型中,必须通过多线程的方式才能达到这个目的。
netty中的反应器模式的核心就是用一个线程去管理select,由该线程来不断轮询socket,当有数据到达触发事件,执行相应的回调函数。
用户线程使用select函数的伪代码描述为:
{
select(socket);
while(true) {
sockets = select();
for(socket in sockets) {
if(can_read(socket)) {
read(socket, buffer);
process(buffer);
}
}
}
}
看起来和加了循环的同步阻塞IO差不多?
实际上, 我们可以给select注册多个socket, 然后不断调用select读取被激活的socket,实现在同一线程内同时处理多个IO请求的效果。(可以在select上注册多个socket,那其实实现多路复用的并不是java的nio,而是内核的select函数)
至此, 同步阻塞(阻塞在select) / 同步非阻塞(IO没有阻塞) 完成
更进一步, 我们把select轮询抽出来放在一个线程里, 用户线程向其注册相关socket或IO请求,等到数据到达时通知用户线程,则可以提高用户线程的CPU利用率。
这样, 便实现了异步方式。
(专门开一个线程来管理socket的注册到select上,去做上图的事情,然后主线程该干啥干啥。反应器模式要是这样来解读简单很多)
EventHandler抽象类表示IO事件处理器
get_handle方法获得文件句柄Handle
handle_event方法实现对Handle的操作
可继承EventHandler对事件处理器的行为进行定制
Reactor类管理EventHandler的注册、删除. handle_events方法实现了事件循环, 其不断调用阻塞函数select, 只要某个文件句柄被激活(可读/写等),select就从阻塞中返回, handle_events接着调用与文件句柄关联的事件处理器的handle_event进行相关操作。handler_events的伪代码如下
Reactor::handle_events() {
while(true) {
sockets = select();
for(socket in sockets) {
get_event_handler(socket).handle_event();
}
}
}
作为功能调用者需要实现的伪代码如下
// 继承EventHandler并重写handle_event()方法
void UserEventHandler::handle_event() {
if(can_read(socket)) {
// 数据已到达, 那么socket阻不阻塞无所谓
read(socket, buffer);
process(buffer);
}
}
// 注册实现的EventHandler子类
{
Reactor.register(new UserEventHandler(socket));
}
IO多路复用是最常使用的IO模型,因其轮询select的线程会被阻塞, 异步程度还不够“彻底”, 所以常被称为异步阻塞IO。
异步I/O
真正的异步IO需要操作系统更强的支持。
IO多路复用模型中,数据到达内核后通知用户线程,用户线程负责从内核空间拷贝数据;
而在异步IO模型中,当用户线程收到通知时,数据已经被操作系统从内核拷贝到用户指定的缓冲区内,用户线程直接使用即可。
异步IO模型使用了Proactor设计模式实现了这一机制。
image.pngReactor模式中,用户线程向Reactor对象注册事件对应的事件处理器,然后事件触发时Reactor调用事件处理函数。
Proactor模式中,用户线程将AsynchronousOperation(读/写等)、Proactor以及操作完成时的CompletionHandler注册到AsynchronousOperationProcessor。
AsynchronousOperationProcessor使用Facade模式提供了一组异步API(读/写等)供用户调用. 当用户线程调用异步API后,便继续执行下一步代码. 而此时AsynchronousOperationProcessor会开启独立的内核线程执行异步操作。
当read请求的数据到达时,由内核负责读取socket中的数据,并写入用户指定的缓冲区中。
异步IO完成时,AsynchronousOperationProcessor将Proactor和CompletionHandler取出,并将IO操作结果和CompletionHandler分发给Proactor,Proactor通知用户线程(即回调先前注册的事件完成处理类的函数handle_event)。
Proactor一般被实现为单例,以便于集中分发操作完成事件。
// 继承CompletionHandler, buffer为用户线程指定的缓冲区
void UserCompletionHandler::handle_event(buffer) {
process(buffer);
}
// 调用异步的read函数
{
aio_read(socket, new UserCompletionHandler);
}
网友评论