Linux 五种I/O技术以及在Java中应用

Linux 五种I/O技术以及在Java中应用

I/O概念说明

在学习linux内核I/O方面的知识,首先要了解一下概念。

用户空间和内核空间

  • 内核空间:操作系统的核心是内核,可以访问受保护的内存空间、硬件设备、执行高权限指令。内核由系统中所有进程共享,当进程运行在内核空间时属于内核态。当程序执行了系统调用(例如:磁盘io)或者触发异常中断,此时进程就会进入内核态。
  • 用户空间:存放用户程序的代码和数据,执行linux第三级别的指令。运行在用户空间的进程处于用户态。
  • 上下文切换:用户应用空间的进程通过系统调用进入内核态时,需要传递用户空间的很多变量、参数等信息给内核。内核态运行时也会保存进程的寄存器值和变量信息,在用户进程恢复时传递该数据给用户态。

进程切换

操作系统为运行的每个进程开辟一个进程表项,该项包含了进程状态、程序计数器、堆栈指针、内存分配、打开文件描述等上下文信息。进程的切换是内核挂起正在执行的进程,并恢复以前运行的进程的过程。

进程阻塞

正在执行的进程,由于需要请求系统资源或者等待某种操作完成,而主动执行阻塞令名 使 进程进入阻塞状态。进入阻塞状态后,进程是不占有cpu资源的。

文件描述符

它是一个用于表述指向文件的引用的抽象化概念。指向内核维护的进程打开文件的记录表。

I/O缓存

在linux操作系统会将 IO 的数据缓存在文件系统的页缓存,磁盘数据会先被写入到内核系统缓冲区,然后操作系统内核将缓冲区数据复制到应用程序地址空间。数据会在内核空间和用户空间之间进行多次拷贝。为解决socket用户空间和内核空间之间的数据拷贝问题,一般采用zero-copy技术解决。例如java中FileChannel.transferTo(long position, long count, WritableByteChannel target)将数据从文件通道传输到了给定的可写字节通道。

Linux IO模型

在Linux 系统中常用的IO模型有阻塞BIO、非阻塞NIO、IO多路复用epoll、异步模式AIO。其中阻塞、非阻塞、多路复用都是同步模型。

IO涉及两个阶段:
第一阶段:等待数据准备 (Waiting for the data to be ready)。
第二阶段:将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)。

同步阻塞模型BIO

在同步阻塞模型中,通过调用操作系统命令recvform 阻塞应用程序,同步阻塞等待数据从内核态复制到用户态。在等待数据处理的两个阶段,整个进程都是阻塞的。


image.png

流程描述:
进程调用了recv()/recvfrom()这个系统调用,内核kernel 执行第一阶段数据准备,kernel阻塞等待数据到来。等内核态数据缓存区准备好数据后,会进行第二个阶段。将数据从内核kernel缓存区拷贝到用户空间(拷贝阶段同步阻塞)。

同步非阻塞模型NIO

同步非阻塞模型的原理是通过轮询的方式,判断kernel内核是否数据准备完成。非阻塞将大的整片时间的阻塞分成N多的小的阻塞。操作系统调用recvform命令后,进程并不阻塞而是立即返回进程,然后循环往复的进行recvform系统调用。轮询检测内核数据状态,直到内核缓存数据准备完成,再进行数据拷贝。

image.png

该模型会导致系统吞吐量下降,因为每个一段时间轮询一次,而内核数据准备完成时间是任意的。

多路复用I/O模型

多路复用模型是通过操作系统底层调用select、poll、epoll函数命令。在select()函数处阻塞 监听 多个IO端口,当任何一个socket内核数据准备好时返回,然后调用recvform命令将数据从内核态拷贝到用户态。多路复用模型select()也会阻塞进程,而与阻塞模型不同的是 该 函数可以阻塞多个socket。

image.png

IO多路复用是阻塞在select,epoll这样的系统调用之上,而没有阻塞在真正的I/O系统调用如recvfrom之上。从而使在单线程情况下可以操作多个客户端请求。

IO多路复用模型最大优势是不需要创建的额外的线程 系统开销小,节省系统资源。其底层实现方式是操作系统命令支持,select、poll、epoll函数命令。

异步非阻塞模型AIO

Linux提供了AIO库函数实现异步,当用户发起aio_read操作后 内核 会立即返回不会block。内核会负责数据准备和数据从内核态拷贝到用户态,完成之后会向用户进程发送signal或通过线程回调函数完成IO 处理过程。

image.png

在non-blocking IO中,虽然进程大部分时间都不会被block,但是它仍然要求进程去主动的check,并且当数据准备完成以后,也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。而asynchronous IO则完全不同。它就像是用户进程将整个IO操作交给了他人(kernel)完成,然后他人做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容