Linux 五种I/O技术以及在Java中应用

I/O概念说明

在学习linux内核I/O方面的知识，首先要了解一下概念。

用户空间和内核空间

• 内核空间：操作系统的核心是内核，可以访问受保护的内存空间、硬件设备、执行高权限指令。内核由系统中所有进程共享，当进程运行在内核空间时属于内核态。当程序执行了系统调用（例如：磁盘io）或者触发异常中断，此时进程就会进入内核态。
• 用户空间：存放用户程序的代码和数据，执行linux第三级别的指令。运行在用户空间的进程处于用户态。
• 上下文切换：用户应用空间的进程通过系统调用进入内核态时，需要传递用户空间的很多变量、参数等信息给内核。内核态运行时也会保存进程的寄存器值和变量信息，在用户进程恢复时传递该数据给用户态。

进程切换

操作系统为运行的每个进程开辟一个进程表项，该项包含了进程状态、程序计数器、堆栈指针、内存分配、打开文件描述等上下文信息。进程的切换是内核挂起正在执行的进程，并恢复以前运行的进程的过程。

进程阻塞

正在执行的进程，由于需要请求系统资源或者等待某种操作完成，而主动执行阻塞令名 使 进程进入阻塞状态。进入阻塞状态后，进程是不占有cpu资源的。

文件描述符

它是一个用于表述指向文件的引用的抽象化概念。指向内核维护的进程打开文件的记录表。

I/O缓存

在linux操作系统会将 IO 的数据缓存在文件系统的页缓存，磁盘数据会先被写入到内核系统缓冲区，然后操作系统内核将缓冲区数据复制到应用程序地址空间。数据会在内核空间和用户空间之间进行多次拷贝。为解决socket用户空间和内核空间之间的数据拷贝问题，一般采用zero-copy技术解决。例如java中FileChannel.transferTo(long position, long count, WritableByteChannel target)将数据从文件通道传输到了给定的可写字节通道。

Linux IO模型

在Linux 系统中常用的IO模型有阻塞BIO、非阻塞NIO、IO多路复用epoll、异步模式AIO。其中阻塞、非阻塞、多路复用都是同步模型。

IO涉及两个阶段：
第一阶段：等待数据准备 (Waiting for the data to be ready)。
第二阶段：将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)。

同步阻塞模型BIO

在同步阻塞模型中，通过调用操作系统命令recvform 阻塞应用程序，同步阻塞等待数据从内核态复制到用户态。在等待数据处理的两个阶段，整个进程都是阻塞的。

image.png

流程描述：
进程调用了recv()/recvfrom()这个系统调用，内核kernel 执行第一阶段数据准备，kernel阻塞等待数据到来。等内核态数据缓存区准备好数据后，会进行第二个阶段。将数据从内核kernel缓存区拷贝到用户空间（拷贝阶段同步阻塞）。

同步非阻塞模型NIO

同步非阻塞模型的原理是通过轮询的方式，判断kernel内核是否数据准备完成。非阻塞将大的整片时间的阻塞分成N多的小的阻塞。操作系统调用recvform命令后，进程并不阻塞而是立即返回进程，然后循环往复的进行recvform系统调用。轮询检测内核数据状态，直到内核缓存数据准备完成，再进行数据拷贝。

image.png

该模型会导致系统吞吐量下降，因为每个一段时间轮询一次，而内核数据准备完成时间是任意的。

多路复用I/O模型

多路复用模型是通过操作系统底层调用select、poll、epoll函数命令。在select()函数处阻塞 监听 多个IO端口，当任何一个socket内核数据准备好时返回，然后调用recvform命令将数据从内核态拷贝到用户态。多路复用模型select()也会阻塞进程，而与阻塞模型不同的是 该 函数可以阻塞多个socket。

image.png

IO多路复用是阻塞在select，epoll这样的系统调用之上，而没有阻塞在真正的I/O系统调用如recvfrom之上。从而使在单线程情况下可以操作多个客户端请求。

IO多路复用模型最大优势是不需要创建的额外的线程 系统开销小，节省系统资源。其底层实现方式是操作系统命令支持，select、poll、epoll函数命令。

异步非阻塞模型AIO

Linux提供了AIO库函数实现异步，当用户发起aio_read操作后 内核 会立即返回不会block。内核会负责数据准备和数据从内核态拷贝到用户态，完成之后会向用户进程发送signal或通过线程回调函数完成IO 处理过程。

image.png

在non-blocking IO中，虽然进程大部分时间都不会被block，但是它仍然要求进程去主动的check，并且当数据准备完成以后，也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。而asynchronous IO则完全不同。它就像是用户进程将整个IO操作交给了他人（kernel）完成，然后他人做完后发信号通知。在此期间，用户进程不需要去检查IO操作的状态，也不需要主动的去拷贝数据。