前言

学习自用,还有很多不足的地方

异步IO和同步IO

当网卡有了数据,DMA会把数据拷贝到内核缓冲区(内核缓冲区的哪里呢);而从内核缓冲区拷贝到用户态需要用户调用read,同步地进行

异步则是注册个读完成事件,等其他用户态线程/内核进程拷贝到用户态后再提醒

aio最核心的需求就是解偶submit和wait for completion, 简单地说就是在submit的时候不要阻塞, 这样用户在submit之后可以做其它事情或者继续submit新的io, 从而获得更高的cpu利用率和磁盘带宽.

异步IO的好处

同步read从内核区拷贝到用户态需要等待短暂的时间,全异步的aio_read不存在这个短暂时间(同步read的系统调用和从内核拷贝到用户的时间)，效率更高;异步IO一个例子就是nginx的读文件的操作(?)
那在内核上处理的真正异步io的优势在于：和同步非阻塞io相比，优势主要在于不用维护数据读不齐时的逻辑处理(可能是等到读齐了再通知吧)

异步IO的坏处

要提前规定好缓冲区大小以在数据到来时自动拷贝,如果设置太大会浪费,太小又有问题,而同步IO可以在读取时适时增加和释放空间,比如muduo就在read的同时用writev增加栈上buffer大小
另外异步IO的编程会麻烦一点,调用aio_read后还要有等待完成读取的逻辑,看看nginx里面文件操作就知道用起来多痛苦了(不过应该可以优化,用promise/future或await来优化?..那实现得更麻烦了)

Linux的AIO

POSIX的AIO(应该就是glic的aio),是用pthread实现的用回调或signal通知的,没有connect,accept等网络IO的API
kernel 的 aio,即kernel native AIO,被用在了nginx上，有一个封装libaio,一开始是为了数据库涉及的,所以只能以 O_DIRECT 方式做直接 IO,即跳过page cache直接写入磁盘(数据库应用这种实现如INNODB,它在应用层实现自己的cache机制而不用OS的page cache)，这就导致一些问题如data buffer的对齐,它要求读写的的大小和偏移要以区块的方式对齐即offset与size的对齐(都是啥啊?),估计普通用户不会愿意触及这个。除了数据库的开发者。而且网络API一样没有。另外kernel native AIO存在额外的开销，每个IO提交需要拷贝64+8字节，每个IO完成需要拷贝32字节，这在某些场景下影响很可观。在使用完成event的时候需要非常小心，否则容易丢事件。IO总是需要至少2个系统调用（submit + wait-for-completion)，在spectre/meltdown开启下性能下降非常严重。
还有一个libev作者搞的libeio,在beta阶段,设计上汲取了前两个的经验用了一些tricky的办法，也是用线程在用户态模拟的，bug更少但是代码更难看懂。封装了大量的文件API ，但也没有网络API。而且有bug的,不能用在 socket 读写上，而且不会返回显式错误，而是自动切成非异步 IO
最新内核引入的io_uring可能可以统一网络和磁盘的aio模式。

AIO实现

AIO复制数据从内核态到用户态的时候,可能会发生一些问题阻塞住,如申请用户态的空间不够,请求队列slot和inode的semaphore(是啥?)

用何种方式来提醒读写完成呢,

信号IO不仅在大量IO操作时可能会因为信号队列溢出导致没法通知(?)
定义一个回调函数,用sigfd也可以,则需要用eventloop来进行监听,复杂的话可以用promise/future来简化语法
Filesystem/Buffered AIO: Buffered IO与Direct IO的资源冲突和数据完整问题(??)

内核线程来或者单独用一个线程进行read操作,(用多线程会有多个读一个fd的问题),要维护read的队列,传入读出来存的地方

猜想

猜想:如果大量不断的连接到来事件然后断开...

listen socket的可读事件,消息socket可读事件,如果让其中一个单独用一个线程异步处理,则开销是:逻辑复杂度,另外的线程开销,活跃线程多的情况会有切换开销,好处是IO线程不需要用到系统调用read,IO线程阻塞时间变少

猜想:如果大量不断到来然后发送一小段东西然后断开...

同理上面吧,这样的场景更适合异步,因为read时间更长,不过如果一直是消息到来事件,瓶颈就在CPU上,那个异步线程毕竟也是单核处理,如果夹杂着其他不耗时事件到来,这些事件响应可能会变高

异步更高效的场景

IO线程做的事:epoll_wait->分发事件;

如果是大量socket的大量数据且到来,则read耗时长,总结下两个缺点:

同步read会阻塞epoll_wait的调用,也就延迟了socket的处理,假如同时夹杂着不耗时的socket连接到来事件则客户端响应会变慢;只能通过每个只读少量大小的方式来保证socket的及时处理,但这样不管是LT或ET+robin list都会增加额外系统调用开销或应用复杂度;
read操作从内核搬数据到用户态无法利用多核,实现得好的话,可以让多个异步来处理异步IO(多个异步线程这样实现应该会难吧,还会有跨线程读同一个fd的问题,如果用epoll_oneshot来解决还会有epoll_ctl系统调用的性能损耗);单核CPU当然是同步更高效;

综上:多核下的大量socket的大量数据(夹杂着大量耗时少的事件如连接到来事件应该更明显),应该是异步IO的QPS更高(连接到来的socket和大量数据的socket事件响应,应不应该分开来算啊?)

同步更高效的场景

单核情况下,用异步会多一次上下文切换和一些多出来的步骤

TODO

为什么linux难以实现异步IO,写完了还不是很懂
光明说的,AIO有多个线程操作,第一次事件用AIO_read,但是没被及时处理,因为LT,所以下次再出发再调用aio_read,线程不同了会有问题吧,也就是多线程处理epoll事件的问题,epoll还提供了oneshot这个标志位?...又说好像问题不大,不过和其他场景可能有问题,就是跟oneshot的问题是一样的

参考资料

Linux上没有真正的异步，为什么服务器还是用Linux的多？ - 知乎 https://www.zhihu.com/question/41706901
linux下的异步IO（AIO）是否已成熟？ - 知乎 https://www.zhihu.com/question/26943558
如何深刻地理解 Unix/Linux 中同步 IO 和异步 IO？ - 知乎 https://www.zhihu.com/question/352921402
为什么Linux下没有真正的异步IO模型？ - 知乎 https://www.zhihu.com/question/421584363
吐槽linux,AIO的https://www.aikaiyuan.com/4556.html有点复杂,看不太懂
https://kernel.taobao.org/2019/06/io_uring-a-new-linux-asynchronous-io-API/最新的io_uring
https://zhuanlan.zhihu.com/p/149836046一开始linux AIO的设计出发点和io_uring,有点复杂比如阻塞点
understanding linux kernel的6.2章节

异步IO实现和应用场景相关推荐

五种I/O 模式——阻塞(默认IO模式)，非阻塞(常用语管道)，I/O多路复用(IO多路复用的应用场景)，信号I/O，异步I/O
From: http://blog.163.com/xychenbaihu@yeah/blog/static/13222965520112163171778/ 五种I/O 模式: [1] ...
Node的异步与java的异步_node中异步IO的理解
解释性语言和编译型语言的区别: 计算器不能直接的理解高级语言,只能理解机器语言,所以必须把高级语言翻译为机器语言,翻译的方式有两种,一个是编译,一个是解释. 解释性语言的程序不需要编译,它是在运行程序 ...
异步IO一定更好吗？
http://cnodejs.org/blog/?p=1015 续:异步IO一定更好吗? 我之前的一篇文章<异步IO一定更好吗?>中举了一个很变态的例子,用以说明在单碟机械式硬盘上异步IO ...
Node - 异步IO和事件循环
前言学习Node就绕不开异步IO, 异步IO又与事件循环息息相关, 而关于这一块一直没有仔细去了解整理过, 刚好最近在做项目的时候, 有了一些思考就记录了下来, 希望能尽量将这一块的知识整理清楚, ...
linux AIO （异步IO）那点事儿
在高性能的服务器编程中,IO 模型理所当然的是重中之重,需要谨慎选型.对于网络套接字,我们可以采用epoll 的方式来轮询,尽管epoll也有一些缺陷,但总体来说还是很高效的,尤其来大量套接字的场景下 ...
python异步io多文件_Python 异步 IO 性能又上一层楼
最近看源码的过程中,发现了一个比较有意思的库,aiomultiprocess,我认为他确实是 Python 升级到 3.8 之后一个特性的总结库,包括静态检查和性能提升. 这个是作者提供的一个 IO ...
java epoll select_Java 非阻塞 IO 和异步 IO
点击上方 Java后端,选择设为星标优质文章,及时送达作者 | HongJie 链接 | javadoop.com/post/nio-and-aio 本文将介绍非阻塞 IO 和异步 IO,也就是 ...
Thrift异步IO服务器源码分析
http://yanyiwu.com/work/2014/12/06/thrift-tnonblockingserver-analysis.html 最近在使用 libevent 开发项目,想起之前写 ...
node中异步IO的理解
解释性语言和编译型语言的区别: 计算器不能直接的理解高级语言,只能理解机器语言,所以必须把高级语言翻译为机器语言,翻译的方式有两种,一个是编译,一个是解释. 解释性语言的程序不需要编译,它是在运行程序 ...
操作系统与存储：解析Linux内核全新异步IO引擎io_uring设计与实现
作者:draculaqian,腾讯后台开发工程师引言存储场景中,我们对性能的要求非常高.在存储引擎底层的IO技术选型时,可能会有如下讨论关于IO的讨论. http://davmac.org/dav ...

异步IO实现和应用场景

前言