问题的需求
当我们需要把一个程序的输出重定向到一个管道时,而由另一个程序从管道中读取这些输出时,自然想到的是下面办法:
$ mkfifo mylog.fifo
$ /path/to/myprogram 1>mylog.fifo 2>&1
这个用法是有问题的:
程序myprogram的运行将会hang在第一个输出语句,直到mylog.fifo里面的内如被取走。换句话说,mylog.fifo的工作方式是阻塞的,即写操作不会返回,直到写的内容已经被读取为止。
如果用户能够保证读操作能实时健全的运行,不会阻塞对它的写操作,那么这种模式也是可以工作的。但是这有很大风险,会阻扰主进程的正常功能,听起来不是很完美。
那么能不能让fifo有缓冲功能呢,即写完立刻返回,只要fifo有足够的buffer没有被塞满,而不需要等到被读取,fifo自动缓冲写进来的内容,听起来这个需求很合理。
fifo的非阻塞模式
实际上fifo是有非阻塞模式的:
- fifo可以工作在阻塞和非阻塞两种模式。
- fifo还可以设置缓冲区(buffer)的大小。
这就很完美了,可是google了一番,这些开关模式只能在API里面通过对文件FD进行设置,例如open(..., mode),或者fnctl(fd, mode),而我们的使用场景是在shell里面通过重定向,此时fifo的打开和关闭都是有shell环境指定的,无法使用API来管理这些FD。
(关于program API设置fifo的工作模式,google一下资料很多,这里就不重复了)
shell模式下的非阻塞模式
目前找到一个办法是在shell模式下,以READ-WRITE的方式打开fifo,这样就能让fifo工作在非阻塞模式(我不知道为什么):
$ exec 3<>/path/to/mylog.fifo
如果不想指定FD,而使用系统分配的FD(在bash 4.2上验证通过):
$ exec {MYFD}<>/path/to/mylog.fifo
$ echo ${MYFD}
这条命令的功能是以读写的方式打开文件/path/to/mylog.fifo,并把fd=3分配这个文件,后面可以用fd=3来对这个文件进行操作。补充一下在linux进程的FD表是可以继承的,即fork出来的子进程自动复制父进程的FD表,也就是在在当前shell下面起来的所有子进程都可以使用fd=3这个文件描述符。
这里比较有趣的一点是,FIFO的打开操作不必要和FIFO的使用在同一个进程里面,也不必是父子进程关系(考虑到子进程自动复制父进程的FD表);即FIFO的打开操作可以在任何一个SHELL里面,然后FIFO的使用在任意其它SHELL里面。举例来说,Terminal 1以读写方式打开FIFO,然后Terminal 2往FIFO里面写数据,最后Terminal 3从FIFO里面读取数据,这种情况下Terminal 2的写操作也是非阻塞的,但是Terminal 1必须保持,不能退出,否则FD会被关闭;一旦FD关闭,FIFO又重新变回阻塞方式。
查看当前进程fd列表会看到一条
$ lsof -f -p $$
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
...
bash 2347 <uid> 3u FIFO 249,0 0t0 51477762 /path/to/mylog.fifo
fd的值是3,指向fifo文件/path/to/mylog.fifo
再来测试用户程序的读写操作
$ /path/to/myprogram 1>/path/to/mylog.fifo 2>&1
或者,直接使用fd,而不是文件名
$ /path/to/myprogram 1>&3 2>&1
此时myprogram就不会被阻塞在第一条output语句上,fifo缓存的输出的内容;不过也要注意不能把fifo的缓冲区写满;如果写满了,写操作会继续阻塞,直到fifo缓冲区释放出新的空间。
最后我们关闭fifo对应的fs
$ exec 3<&- # or, exec {MYFD}<&-
$ lsof -f -p $$