小记:
阻塞,非阻塞:进程/线程要访问的数据是否就绪,进程/线程是否需要等待;
同步,异步:访问数据的方式,同步需要主动读写数据,在读写数据的过程中还是会阻塞;异步只需要I/O操作完成的通知,并不主动读写数据,由操作系统内核完成数据的读写。
Select
IO复用模型是上个世纪90年代的东西,受限于当时的计算机硬软件的限制,这种技术随着epoll的出现逐渐被取代,但它毕竟风光过。了解历史才能更好的展望未来,每一个有情怀的码农都不应该一味抬头看远方,时而低头凝视大地,不亦乐乎~
了解select
之前,我们需要了解下位图(bitmap),bitmap
其实就是将对象映射到具体的一个bit
位上来,表示对象存在或者被标记。bitmap
算法有节省内存和快速查询等特点,所以适合处理海量数据的排序和查询。这种古老而牛逼的技术在数据库,操作系统上都有很广泛的应用。好的,下面引入select
中使用到bitmap
算法的几个API函数,也是在使用select
这种IO复用技术时经常使用到的。
int FD_ZERO(fd_set *fdset); // 复位
int FD_CLR(int fd, fd_set *fdset); // 清零
int FD_SET(int fd, fd_set *fd_set); // 设置
int FD_ISSET(int fd, fd_set *fdset); // 测试设置
这几个函数主要完成具体 fd
到 fd_set rset
映射关系的处理。看下fd_set
的存储结构:
#ifndef FD_SETSIZE
#define FD_SETSIZE 1024
#endif
#define NBBY 8 /* number of bits in a byte */
typedef long fd_mask;
#define NFDBITS (sizeof (fd_mask) * NBBY) /* bits per mask */
#define howmany(x,y) (((x)+((y)-1))/(y))
typedef struct _types_fd_set {
fd_mask fds_bits[howmany(FD_SETSIZE, NFDBITS)];
} _types_fd_set;
清楚的看到,一个long
类型8个字节,这样fds_bits
就有1024/64 = 16
即16个64bit的数组,每一个数组64bit。设置和清零这两个操作是位操作,很方便,自己写了一个BitMap
的Golang
代码,这里也顺便贴出:
func (b *BitSet) Set(i uint) {
....
b.set[i>>6] = b.set[i>>6] | (1 << (i & (64 - 1)))
}
func (b *BitSet) Clear(i uint) {
....
b.set[i>>6] &^= 1 << (i & (64 - 1))
}
好了,知道fdset的存储结构和简单设置之后,可以看下select
IO模型中的另外一个API:
int select(int maxfdp, fd_set *readset, fd_set *writeset, fd_set *exceptset,struct timeval *timeout);
其中有两个参数需要说明下:
- 第一个参数是timeout, 它代表select超时时间。该值有三种状态:timeout == NULL 无条件等待。 select函数将返回 -1, erro设为 EINTR,表示被迫中断。timeout->tv_sec == 0 &&timeout->tv_usec == 0 不等待,直接返回。timeout->tv_sec != 0 || timeout->tv_usec != 0 等待指定的时间,select返回0表示在规定时间内没有fd读写或者异常事件发生。
struct timeval {
long tv_sec; /*秒 */
long tv_usec; /*微秒 */
}
- 第二个参数 maxfdp,这个是文件描述符fd的最大值加1。每次调用
select
之前都需要算出最大的fd,作为maxfd。
关于select
的内核实现部分,网上有很多文章进行了详细的描述,这里就不再赘述。好的,这里还是不落俗套地提下select的缺点:<1> 描述符(FD)数量问题 。<2> IO效率随FD的增加而线性下降。select
随FD的增加性能下降的问题, 在使用方式上可以感受到:用户态需要每次select
之前复位所有fd,然后select
之后还得遍历所有fd
找到可读写或异常的fd
。但至今没有对select
做过benchmark
。
这里随便带上poll
小弟:
int poll (struct pollfd *fds, unsigned int nfds, int timeout);
其中pollfd的数据结构:
struct pollfd {
int fd; /* file descriptor */
short events; /* requested events to watch */
short revents; /* returned events witnessed */
};
poll方式并没有采用select
的fdset
方式,而是每一个fd
都有一个自己的pollfd
数据结构,里面存放除了fd
外,还存放events
事件类型,这样poll
就没有fd
个数的上限问题了,但它仍然需要遍历fds
拿到可读写或异常的fd
。这点跟select
还是一样的。
好了,小小书童简单记录下,end~