Linux 五种I/O技术以及在Java中应用
I/O概念说明
在学习linux内核I/O方面的知识,首先要了解一下概念。
用户空间和内核空间
- 内核空间:操作系统的核心是内核,可以访问受保护的内存空间、硬件设备、执行高权限指令。内核由系统中所有进程共享,当进程运行在内核空间时属于内核态。当程序执行了系统调用(例如:磁盘io)或者触发异常中断,此时进程就会进入内核态。
- 用户空间:存放用户程序的代码和数据,执行linux第三级别的指令。运行在用户空间的进程处于用户态。
- 上下文切换:用户应用空间的进程通过系统调用进入内核态时,需要传递用户空间的很多变量、参数等信息给内核。内核态运行时也会保存进程的寄存器值和变量信息,在用户进程恢复时传递该数据给用户态。
进程切换
操作系统为运行的每个进程开辟一个进程表项,该项包含了进程状态、程序计数器、堆栈指针、内存分配、打开文件描述等上下文信息。进程的切换是内核挂起正在执行的进程,并恢复以前运行的进程的过程。
进程阻塞
正在执行的进程,由于需要请求系统资源或者等待某种操作完成,而主动执行阻塞令名 使 进程进入阻塞状态。进入阻塞状态后,进程是不占有cpu资源的。
文件描述符
它是一个用于表述指向文件的引用的抽象化概念。指向内核维护的进程打开文件的记录表。
I/O缓存
在linux操作系统会将 IO 的数据缓存在文件系统的页缓存,磁盘数据会先被写入到内核系统缓冲区,然后操作系统内核将缓冲区数据复制到应用程序地址空间。数据会在内核空间和用户空间之间进行多次拷贝。为解决socket用户空间和内核空间之间的数据拷贝问题,一般采用zero-copy技术解决。例如java中FileChannel.transferTo(long position, long count, WritableByteChannel target)将数据从文件通道传输到了给定的可写字节通道。
Linux IO模型
在Linux 系统中常用的IO模型有阻塞BIO、非阻塞NIO、IO多路复用epoll、异步模式AIO。其中阻塞、非阻塞、多路复用都是同步模型。
IO涉及两个阶段:
第一阶段:等待数据准备 (Waiting for the data to be ready)。
第二阶段:将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)。
同步阻塞模型BIO
在同步阻塞模型中,通过调用操作系统命令recvform 阻塞应用程序,同步阻塞等待数据从内核态复制到用户态。在等待数据处理的两个阶段,整个进程都是阻塞的。
流程描述:
进程调用了recv()/recvfrom()这个系统调用,内核kernel 执行第一阶段数据准备,kernel阻塞等待数据到来。等内核态数据缓存区准备好数据后,会进行第二个阶段。将数据从内核kernel缓存区拷贝到用户空间(拷贝阶段同步阻塞)。
同步非阻塞模型NIO
同步非阻塞模型的原理是通过轮询的方式,判断kernel内核是否数据准备完成。非阻塞将大的整片时间的阻塞分成N多的小的阻塞。操作系统调用recvform命令后,进程并不阻塞而是立即返回进程,然后循环往复的进行recvform系统调用。轮询检测内核数据状态,直到内核缓存数据准备完成,再进行数据拷贝。
该模型会导致系统吞吐量下降,因为每个一段时间轮询一次,而内核数据准备完成时间是任意的。
多路复用I/O模型
多路复用模型是通过操作系统底层调用select、poll、epoll函数命令。在select()函数处阻塞 监听 多个IO端口,当任何一个socket内核数据准备好时返回,然后调用recvform命令将数据从内核态拷贝到用户态。多路复用模型select()也会阻塞进程,而与阻塞模型不同的是 该 函数可以阻塞多个socket。
IO多路复用是阻塞在select,epoll这样的系统调用之上,而没有阻塞在真正的I/O系统调用如recvfrom之上。从而使在单线程情况下可以操作多个客户端请求。
IO多路复用模型最大优势是不需要创建的额外的线程 系统开销小,节省系统资源。其底层实现方式是操作系统命令支持,select、poll、epoll函数命令。
异步非阻塞模型AIO
Linux提供了AIO库函数实现异步,当用户发起aio_read操作后 内核 会立即返回不会block。内核会负责数据准备和数据从内核态拷贝到用户态,完成之后会向用户进程发送signal或通过线程回调函数完成IO 处理过程。
在non-blocking IO中,虽然进程大部分时间都不会被block,但是它仍然要求进程去主动的check,并且当数据准备完成以后,也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。而asynchronous IO则完全不同。它就像是用户进程将整个IO操作交给了他人(kernel)完成,然后他人做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。