此为牛客Linux C++课程和黑马Linux系统编程笔记。

0. I/O多路复用

所谓I/O就是对socket提供的内存缓冲区的写入和读出。
多路复用就是指程序能同时监听多个文件描述符。

之前的学习中写了多进程和多线程版的简单服务器模型，但是有个问题：每次新来一个客户端TCP连接请求，就需要新建一个进程或线程来与之进行信息传输，但是如果连接的客户端太多，就会出现所谓C10K问题：

当创建的进程或线程多了，数据拷贝频繁（缓存I/O、内核将数据拷贝到用户进程空间、阻塞，进程/线程上下文切换消耗大，导致操作系统崩溃，这就是C10K问题的本质。

所以为每个请求分配一个进程/线程的方式不合适，进程或线程本身会消耗资源，且线程或进程调度也会消耗CPU资源。所以I/O 多路复用技术应运而生，让一个进程或线程处理多个请求。

Linux 下实现 I/O 多路复用的系统调用主要有 select、poll 和 epoll，本篇介绍select和poll。

1. select

主旨思想：

首先要构造一个关于文件描述符的列表，将要监听的文件描述符添加到该列表中。
调用一个系统函数，监听该列表中的文件描述符，直到这些描述符中的一个或者多个进行I/O
操作时，该函数才返回。
a.这个函数是阻塞
b.函数对文件描述符的检测的操作是由内核完成的
在返回时，它会告诉进程有多少（哪些）描述符要进行I/O操作。

1.1 select API介绍

#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

参数：

nfds : 委托内核检测的最大文件描述符的值 + 1
readfds : 要检测的文件描述符的读的集合，即委托内核检测哪些文件描述符的读的属性，对应的是对方发送过来的数据，因为读是被动的接收数据，检测的就是读缓冲区
writefds : 要检测的文件描述符的写的集合，即委托内核检测哪些文件描述符的写的属性，委托内核检测写缓冲区是不是还可以写数据（不满的就可以写）
exceptfds : 检测发生异常的文件描述符的集合

注意：以上三个是传入传出参数，以readfds为例，传入的时候将需要监听读事件的文件描述符对应fd_set位置为1传入，执行select后，select将把readfds中真正监听到读事件的文件描述符的对应位保持为1，而把没有到读事件的文件描述符的对应位修改为0，这样我们再遍历这个传出的fd_set，哪个文件描述符对应位为1就说明监听到了哪个文件描述符的读事件。

timeout : 设置的超时时间

struct timeval {long tv_sec; /* seconds */long tv_usec; /* microseconds */
};

NULL : 永久阻塞，直到检测到了文件描述符有变化
tv_sec = 0 tv_usec = 0，不阻塞
tv_sec > 0 tv_usec > 0，阻塞对应的时间

返回值 :

-1 : 失败
>0(n) : 检测的集合中有n个文件描述符发生了变化

对于第2、3、4个参数涉及到的fd_set，它是一个文件描述符的位图，默认为1024位，可以理解成一个一维数组，可把数组的下标看作文件描述符的值，数组的值为1表示需要监听该下标所对应的文件描述符。关于fd_set的设置可使用以下宏：

// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);
// 判断fd对应的标志位是0还是1， 返回值 ： fd对应的标志位的值，0，返回0， 1，返回1
int FD_ISSET(int fd, fd_set *set);
// 将参数文件描述符fd 对应的标志位，设置为1
void FD_SET(int fd, fd_set *set);
// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);

1.2 select使用过程示例

比如说现在客户端A，B，C，D已经连接了服务器，其socket文件描述符分别是3、4、100、101。我们想要使用select监听这四个客户端的读事件，该如何做？

如图，首先建立一个fd_set，调用FD_ZERO初始化其每一位都是0，我们现在需要调用FD_SET把想要监听的文件描述符的对应位置1：

这样fd_set就设置好了，我们调用select，第一个参数是想监听的最大文件描述符+1，所以传入101+1；第二个参数传入reads的地址。此后，内核便负责监听这四个socket文件的读缓冲区。

假如说，A和B发送了数据，调用select后，3、4对应的位不变，而没有检测到读事件的100和101就被赋为0，然后传出。我们通过FD_ISSET遍历reads就可以判断哪些客户端发送了数据。

1.3 select示例程序

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/select.h>int main() {// 创建socketint lfd = socket(PF_INET, SOCK_STREAM, 0);struct sockaddr_in saddr;saddr.sin_port = htons(9999);saddr.sin_family = AF_INET;saddr.sin_addr.s_addr = INADDR_ANY;// 绑定bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));// 监听listen(lfd, 8);// 创建一个fd_set的集合，存放的是需要检测的文件描述符fd_set rdset, tmp;FD_ZERO(&rdset);FD_SET(lfd, &rdset);int maxfd = lfd;while(1) {tmp = rdset;// 调用select系统函数，让内核帮检测哪些文件描述符有数据int ret = select(maxfd + 1, &tmp, NULL, NULL, NULL);if(ret == -1) {perror("select");exit(-1);} else if(ret == 0) {continue;} else if(ret > 0) {// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变if(FD_ISSET(lfd, &tmp)) {// 表示有新的客户端连接进来了struct sockaddr_in cliaddr;int len = sizeof(cliaddr);int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);// 将新的文件描述符加入到集合中FD_SET(cfd, &rdset);// 更新最大的文件描述符maxfd = maxfd > cfd ? maxfd : cfd;}// 我们需要遍历来确定哪个文件描述符发送来了数据// 这是select的缺点之一for(int i = lfd + 1; i <= maxfd; i++) {if(FD_ISSET(i, &tmp)) {// 说明这个文件描述符对应的客户端发来了数据char buf[1024] = {0};int len = read(i, buf, sizeof(buf));if(len == -1) {perror("read");exit(-1);} else if(len == 0) {printf("client closed...\n");close(i);FD_CLR(i, &rdset);} else if(len > 0) {printf("read buf = %s\n", buf);write(i, buf, strlen(buf) + 1);}}}}}close(lfd);return 0;
}

1.4 select的缺点

2. poll

poll是对select的改进。poll和select的使用方法很像，但对select有以下改进：

突破了1024的打开文件上限数，原因是它是基于链表来存储的。
select中fd_set是被内核和用户共同修改的，而poll分离了监听事件集合和返回事件集合，可以使编程更简洁。

2.1 poll API介绍

#include <poll.h>
int poll(struct pollfd *fds, nfds_t nfds, int timeout);

参数：

fds : 是一个struct pollfd 结构体数组，这是一个需要检测的文件描述符的集合

struct pollfd {int fd; /* 委托内核检测的文件描述符 */short events; /* 委托内核检测文件描述符的什么事件 */short revents; /* 文件描述符实际发生的事件 */
};

其中events和revents有以下可选项，选择多个可用|进行连接

以下是创建该结构体的示例：

struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT;

nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1
timeout : 阻塞时长
0 : 不阻塞
-1 : 阻塞，当检测到需要检测的文件描述符有变化，解除阻塞
>0 : 阻塞的时长

2.2 poll 示例程序

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <poll.h>int main() {// 创建socketint lfd = socket(PF_INET, SOCK_STREAM, 0);struct sockaddr_in saddr;saddr.sin_port = htons(9999);saddr.sin_family = AF_INET;saddr.sin_addr.s_addr = INADDR_ANY;// 绑定bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));// 监听listen(lfd, 8);// 初始化检测的文件描述符数组struct pollfd fds[1024];for(int i = 0; i < 1024; i++) {fds[i].fd = -1;fds[i].events = POLLIN;}fds[0].fd = lfd;int nfds = 0;while(1) {// 调用poll系统函数，让内核帮检测哪些文件描述符有数据int ret = poll(fds, nfds + 1, -1);if(ret == -1) {perror("poll");exit(-1);} else if(ret == 0) {continue;} else if(ret > 0) {// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变if(fds[0].revents & POLLIN) {// 表示有新的客户端连接进来了struct sockaddr_in cliaddr;int len = sizeof(cliaddr);int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);// 将新的文件描述符加入到集合中for(int i = 1; i < 1024; i++) {if(fds[i].fd == -1) {fds[i].fd = cfd;fds[i].events = POLLIN;break;}}// 更新最大的文件描述符的索引nfds = nfds > cfd ? nfds : cfd;}for(int i = 1; i <= nfds; i++) {if(fds[i].revents & POLLIN) {// 说明这个文件描述符对应的客户端发来了数据char buf[1024] = {0};int len = read(fds[i].fd, buf, sizeof(buf));if(len == -1) {perror("read");exit(-1);} else if(len == 0) {printf("client closed...\n");close(fds[i].fd);fds[i].fd = -1;} else if(len > 0) {printf("read buf = %s\n", buf);write(fds[i].fd, buf, strlen(buf) + 1);}}}}}close(lfd);return 0;
}

【Linux网络编程学习】I/O多路复用——select和poll相关推荐

【Linux系统编程】I/O多路复用select、poll、epoll的区别使用
I/O 多路复用技术是为了解决进程或线程阻塞到某个 I/O 系统调用而出现的技术,使进程不阻塞于某个特定的 I/O 系统调用. select(),poll(),epoll()都是I/O多路复用的机制. ...
[Linux网络编程学习笔记]索引
一.Linux基本知识 [学习笔记]Linux平台的文件I/O操作 [学习笔记]Linux平台的文件,目录及操作 [Linux学习笔记]标准输入输出 [Linux学习笔记]进程概念及控制 [Linux ...
linux 网络编程学习
linux 网络编程学习 Linux网络编程学习路线 - CTHON - 博客园 (cnblogs.com)
编程开发：Linux网络编程学习笔记
非常全面.通俗易懂.值得借鉴的Linux网络编程学习笔记.关键字:linux linux编程网络编程 linux网络编程下载地址:点我下载特别说明:本资源收集于网络,版权归原作者及版权商所有,仅 ...
Linux网络编程学习笔记
声明:1.未经过原作者许可,不可用于商业行为:2.本笔记仅用于知识学习,如有侵权,立即删除. 1.学习链接黑马程序员-Linux网络编程:https://www.bilibili.com/video ...
【Linux网络编程】并发服务器之select模型
00. 目录文章目录 00. 目录 01. 概述 02. I/O复用技术概述 03. select模型服务器实现思路 04. select模型服务器实现 05. 附录 01. 概述服务器设计技术有 ...
Linux 网络编程学习笔记
前言: 本文是学习<Linux 高性能服务器编程(游双著)>时所记录的重点知识. 一.TCP/IP 协议族二.IP 协议详解三.TCP 协议详解四.HTTP 通信五.Linux ...
[Linux网络编程学习笔记]套接字地址结构
好久没有看那Linux网络编程这本书了,今天看到了重点部分-TCP套接字.下面先来看看套接字的地址结构 Linux系统的套接字可以支持多种协议,每种不同的协议都是用不同的地址结构.在头文件<li ...
【Linux网络编程学习】I/O多路复用——epoll
此为牛客Linux C++课程和黑马Linux系统编程笔记. 1. 关于epoll epoll是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活 ...

【Linux网络编程学习】I/O多路复用——select和poll