Linux ：IO多路复用模型

转载：http://blog.csdn.net/mr253727942/article/details/50827127

一、IO多路复用定义

IO多路复用允许应用在多个文件描述符上阻塞，并在某一个可以读写时通知，一般遵循下面的设计原则：、

IO多路复用：任何文件描述符准备好IO时进行通知
在文件描述符就绪前进行睡眠。
唤醒：哪个准备好了
在不阻塞的情况下处理所有IO就绪的文件描述符
返回第一步

Linux下提供了三种IO多路复用方案，select、poll和epoll。

二、select IO 多路复用

看一下select 函数的定义:

int select (int n,fd_set *readfds,fd_set *writefds,fd_set *exceptfds,struct timeval *timeout);FD_CLR(int fd, fd_set *set);FD_ISSET(int fd, fd_set *set);FD_SET(int fd, fd_set *set);FD_ZERO(fd_set *set);

上面的定义中可以看到select主要检测三类文件描述符，分别等待不同的事件。

readfds
```
确认是否有可读数据
```
writefds
```
确认是否有可写数据
```

exceptefds

确认是否有异常发生或者出现带外数据。

第一个参数n,等于所有集合中文件描述符的最大值加一。select()的调用者需要找到最大的文件描述符值加一作为第一个参数。

成功返回时，返回哪一个文件描述符，就说明该文件描述符准备好无阻塞IO。对于timeout,select操作可以设置一个超时时间，超时后即使没有文件描述符IO就绪也会返回。

select的缺点：

1.每次调用select,都需要把fd集合从用户态拷贝到内核态
2。同时需要遍历所有fd
3。支持的文件描述符默认只有1024

三、poll IO 多路复用

poll()系统调用也是一个IO多路复用解决方案，解决了一些select的不足，下面给出poll的定义：

#include <sys/poll.h>
int poll (struct pollfd *fds, unsigned int nfds,
int timeout);

与上面的select()使用三个文件描述符集合不同，poll()使用了一个简单的nfds个pollfd结构体构成的数组，fds指向该数组，结构体定义如下：

#include <sys/poll.h>
struct pollfd {int fd; /* file descriptor */short events; /* requested events to watch */short revents; /* returned events witnessed */
};

每个pollfd指定了唯一一个文件描述符，每个结构体中的events字段是要坚实的文件描述符事件的一组位掩码。revents字段是发生在该文件描述符上的事件的位掩码，内核在返回时设置这个字段，所有events字段请求的时间都可能在revents字段中返回。下面是合法的事件：

POLLIN       没有数据可读
POLLRDNORM   有正常数据可读。
POLLRDBAND   有优先数据可读。
POLLPRI      有高优先级数据可读。
POLLOUT      写操作不会阻塞。
POLLWRNORM   写正常数据不会阻塞。
POLLBAND     写优先数据不会阻塞。
POLLMSG      有一个sigpoll消息可用。

除此之外还可能返回几个异常信息：

POLLER       文件描述符有错误。
POLLHUP      文件描述符上有挂起事件。
POLLNVAL     给出的文件描述符非法。

监视一个文件描述符是否可以读写，可以设置events为POLLIN | POLLOUT,返回时将在revents中检查是否有相应标志。如果设置了POLLIN，或者POLLOUT则代表可以操作相关事件。

timeout参数指定在任何IO就绪前需要等待时间的长度，负值表示永远等待，一个零值表示调用立即返回，列出所有为准备好的IO，不等待任何时间。

四、poll()与select()的区别

poll()系统调用优于select():

poll()不需要使用者计算最大的文件描述符值加一和传递该参数。
poll()在应对较大值的文件描述符时效率更好，如果用select()监视值为900的文件描述符–内核需要检查每个集合中的每个bit位，知道第九百个。
select()的文件描述符集合是静态大小，但是poll()可以创建合适大小的数组，只需要传递结构体数组即可。
select()文件描述符集合会在返回时重新创建，每个调用都必须要重新初始化它们。poll()系统调用分离了events字段和revents字段，无需改变就能重用。
相对于poll()，select()移植性更好
select()提供了更好的超时方案。

五、epoll IO 多路复用

上面的两种方式中，每次调用都需要所有被监听的文件描述符，内核必须遍历所有的文件描述符，当文件描述符变得很大，这里的遍历就会成为瓶颈。

epoll将监听注册从实际监听中分离出来，完成了真正的事件等待。

1、先创建一个新的epoll实例：

#include <sys/epoll.h>
int efpd =  epoll_create (int size)

size是告诉内核大概需要监听的文件描述符数目。

2、控制epoll

epoll_ctl()可以向指定的epoll上下文中加入或删除文件描述符。

#include <sys/epoll.h>
int epoll_ctl (int epfd, int op, int fd, struct
epoll_event *event);

头文件

六、IO实现的内核内幕

主要涉及三个内核子系统：

虚拟文件系统（VFS）
页缓存
页回写

虚拟文件系统

虚拟文件系统是linux内核的文件操作的抽象机制，允许内核在无需了解文件系统类型的情况下，使用文件系统函数和操作文件系统数据。

VFS实现这种抽象的方法是使用一种通用文件模型，它是所有linux文件系统的基础，通用文件模型提供了linux内核文件系统必须遵循的框架，框架提供了了hooks支持读写、建立链接、同步等其他功能。

当然这种方法规定了一些共性，比如必须要有inode,super block(超级块)和目录条目等。

页缓存

页缓存是一种在内存中保存最近在磁盘文件系统上访问过的数据的方式。页缓存是内核寻找文件系统数据的第一目的地。只有缓存找不到时内核才会调用存储子系统从磁盘读数据。

linux中页缓存大小是动态的，随着IO操作将越来越多的数据带入内存，页缓存会随之增大，消耗更多的内存，如果页缓存确实消耗掉了所有空闲内存，页缓存会释放最少使用页。

页回写

内核使用缓冲区来延迟写操作，当一个进程发起写请求，数据被拷贝到缓冲区，这时将缓冲区标记为“脏”数据，如果对同一个数据块有新的写请求，缓冲区就更新为新数据，把“脏”缓冲区写入磁盘。有两个条件会触发这种回写：

当空闲内存小于设定的阀值，会将缓冲区回写。
当一个脏的缓冲区寿命超过阀值也会回写防止数据不确定。

回写由一些pdflush内核线程操作，当上述两种情况发生，线程被唤醒开始刷新脏缓冲区。