Linux文件描述符

与linux打交道，尽管可能你只是一个高级语言的码农，还是或多或少的要和遇到d这种术语。今天抽空看了下传说中的fd，虽然还没有深入了解linux操作系统，因此也谈不上真的深刻理解了fd，但还是扫盲了些许，至少以后再碰到相关术语，不至于一脸茫然。

说明：看了一些网上的文章，大多数语句都是在理解的基础上直接搬过来的，感谢那些整理的人们，就不一一列举出处了。

1. Linu文件系统简介

文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。
Unix可以把一个能随机存取的存储介质（如：硬盘、软盘和光盘）上的存储空间划分成一致多个区域，每个区域都可以像独立的物理设备一样单独进行管理和数据存取，这样的存储区域，即是逻辑设备。在逻辑设备上按照一定的格式进行划分，就构成了逻辑文件系统，简称文件系统。

普通文件 这种文件包含了某种形式的数据,这些数据无论是文件还是二进制对于 UNIX 内核而言都是一样的。对普通文件内容的解释有处理该文件的应用程序进行。
目录文件 目录文件包含了其他文件的名字以及指向与这些文件有关信息的指针。对一个目录文件具有读权限的任一进程都可以读取该目录的内容,但是只有内核才能直接写目录文件。
块特殊文件 这种文件类型提供对设备带缓冲的访问,每次访问以固定长度为单位进行。
字符特殊文件 这种文件类型提供对设备不带缓冲的访问,每次访问长度可变。系统中的所有设备要么是字符特殊文件,要么是块特殊文件。
FIFO 这种类型文件用于进程间通信。也称为命名管道(namedpipe)。
套接字(socket) 这种文件类型用于进程间的网络通信。
符号链接(symbolic link) 这种文件类型指向另一个文件。

2. 什么是文件描述符fd

在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码。

也就是说，在linux系统中，所有的文件操作，都是通过fd来定位资源和状态的，不管是读写文件，还是进行网络通信，都需要与相应的fd打交道。

理解具体情况，需要了解由内核维护的3个数据结构：

进程级文件描述符表(file descriptor table)
系统级打开文件表(open file table)
文件系统i-node表(i-node table)

这3个数据结构之间的关系如下图所示：

文件描述符-打开文件列表-inode节点关系图

文件描述符表

系统为每个进程维护一份文件描述符表，该表的每一个条目都记录了单个文件描述符的相关信息，包括：

控制标志(flags)，目前内核仅定义了一个，即close-on-exec
打开文件描述体指针

打开文件列表

内核对所有打开的文件维护一个系统级别的打开文件描述表(open file description table)。表中的条目称为打开文件描述体(open file description)，存储了与一个打开的文件相关的全部信息，包括：

文件偏移量(current file offset)，调用read()和write()更新，调用lseek()直接修改
访问模式（file status flags），由open()调用设置，例如：只读、只写或读写等
i-node对象指针（v-node ptr），指向一个inode元素，从而关联物理文件

i-node表

就像进程用pid来描述和定位一样，在linux系统中，文件使用inode号来描述，inode存储了文件的很多元信息。

每个文件系统会为存储于其上的所有文件(包括目录)维护一个i-node表，单个i-node包含以下信息：

文件类型(file type)，可以是常规文件、目录、套接字或FIFO
文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、写、执行权限
文件的时间戳，共有三个：ctime指inode上一次变动的时间，mtime指文件内容上一次变动的时间，atime指文件上一次打开的时间。
链接数，即有多少文件名指向这个inode
文件数据block的位置

i-node存储在磁盘设备上，内核在内存中维护了一个副本，这里的i-node表为后者。副本除了原有信息，还包括：引用计数(从打开文件描述体)、所在设备号以及一些临时属性，例如文件锁。

举个例子

open系统调用执行的操作：新建一个i-node表元素，让其对应打开的物理文件（如果对应于该物理文件的inode元素已经建立，就不做任何操作）；新建一个文件表的元素，根据open的第2个参数设置file status flags字段，将current file offset字段置0，将v-node ptr指向刚建立的i节点表元素；在文件描述符表中，寻找1个尚未使用的元素，在该元素中填入一个指针值，让其指向刚建立的文件表元素。最重要的是：将该元素的下标作为open的返回值返回。

这样一来，当调用read（write）时，根据传入的文件描述符，OS就可以找到对应的文件描述符表元素，进而找到文件表的元素，进而找到i节点表元素，从而完成对物理文件的读写。

3. 文件描述限制

在编写文件操作的或者网络通信的软件时，初学者一般可能会遇到“Too many open files”的问题。这主要是因为文件描述符是系统的一个重要资源，虽然说系统内存有多少就可以打开多少的文件描述符，但是在实际实现过程中内核是会做相应的处理的，一般最大打开文件数会是系统内存的10%（以KB来计算）（称之为系统级限制），查看系统级别的最大打开文件数可以使用sysctl -a | grep fs.file-max命令查看。与此同时，内核为了不让某一个进程消耗掉所有的文件资源，其也会对单个进程最大打开文件数做默认值处理（称之为用户级限制），默认值一般是1024，使用ulimit -n命令可以查看，我们也可以通过命令去修改该限制。

4.fork等操作对fd的影响

我们还是以这幅图为例：

文件描述符-打开文件列表-inode节点关系图

在进程A中，文件描述符1和30都指向了同一个打开的文件句柄（标号23）。这可能是通过调用dup()、dup2()、fcntl()或者对同一个文件多次调用了open()函数而形成的。

进程A的文件描述符2和进程B的文件描述符2都指向了同一个打开的文件句柄（标号73）。这种情形可能是在调用fork()后出现的（即，进程A、B是父子进程关系，子进程继承父进程打开的文件），或者当某进程通过UNIX域套接字将一个打开的文件描述符传递给另一个进程时，也会发生。再者是不同的进程独自去调用open函数打开了同一个文件，此时进程内部的描述符正好分配到与其他进程打开该文件的描述符一样。

此外，进程A的描述符0和进程B的描述符3分别指向不同的打开文件句柄，但这些句柄均指向i-node表的相同条目（1976），换言之，指向同一个文件。发生这种情况是因为每个进程各自对同一个文件发起了open()调用。同一个进程两次打开同一个文件，也会发生类似情况。

总结

由于进程级文件描述符表的存在，不同的进程中会出现相同的文件描述符，它们可能指向同一个文件，也可能指向不同的文件
两个不同的文件描述符，若指向同一个打开文件句柄，将共享同一文件偏移量。因此，如果通过其中一个文件描述符来修改文件偏移量（由调用read()、write()或lseek()所致），那么从另一个描述符中也会观察到变化，无论这两个文件描述符是否属于不同进程，还是同一个进程，情况都是如此。
要获取和修改打开的文件标志（例如：O_APPEND、O_NONBLOCK和O_ASYNC），可执行fcntl()的F_GETFL和F_SETFL操作，其对作用域的约束与上一条颇为类似。
文件描述符标志（即，close-on-exec）为进程和文件描述符所私有。对这一标志的修改将不会影响同一进程或不同进程中的其他文件描述符

参考链接：
https://www.jianshu.com/p/430340c4a37a
https://www.jianshu.com/p/a2dc2907ec28
https://blog.csdn.net/cywosp/article/details/38965239