什么是mmap？零拷贝？DMA？
《Linux Zero-copy零拷贝技术全面揭秘》
《什么是mmap？零拷贝？DMA？》
《Linux C语言：用零拷贝技术实现TCP代理（源代码+测试服务端客户端代码）》
《Kafka和RocketMQ底层存储：零拷贝技术》
《Linux I/O原理和零拷贝Zero-copy技术全面揭秘》
《通过零拷贝进行有效的数据传输(java、c)》
《搞懂Linux零拷贝，DMA》
《【转】零拷贝的实现原理》
《CUDA零拷贝内存（zerocopy memory）》
目录
传统IO
零拷贝
mmap+write
sendfile
sendfile+DMA Scatter/Gather
应用场景
总结
参考
平时在面试中你肯定会经常碰见的问题就是：RocketMQ为什么快？Kafka为什么快？什么是mmap？
这一类的问题都逃不过的一个点就是零拷贝，虽然还有一些其他的原因，但是今天我们的话题主要就是零拷贝。
传统IO
在开始谈零拷贝之前，首先要对传统的IO方式有一个概念。
基于传统的IO方式，底层实际上通过调用read()和write()来实现。
通过read()把数据从硬盘读取到内核缓冲区，再复制到用户缓冲区；然后再通过write()写入到socket缓冲区，最后写入网卡设备。
File.read(fileDesc, fub, len);
Socket.send(socket, buf, len);整个过程发生了4次用户态和内核态的上下文切换和4次拷贝，具体流程如下：
- 用户进程通过
read()方法向操作系统发起调用，此时上下文从用户态转向内核态 - DMA控制器把数据从硬盘中拷贝到读缓冲区
- CPU把读缓冲区数据拷贝到应用缓冲区，上下文从内核态转为用户态，
read()返回 - 用户进程通过
write()方法发起调用，上下文从用户态转为内核态 - CPU将应用缓冲区中数据拷贝到socket缓冲区
- DMA控制器把数据从socket缓冲区拷贝到网卡，上下文从内核态切换回用户态，
write()返回
那么，这里指的用户态、内核态指的是什么？上下文切换又是什么？
简单来说，用户空间指的就是用户进程的运行空间，内核空间就是内核的运行空间。
如果进程运行在内核空间就是内核态，运行在用户空间就是用户态。
为了安全起见，他们之间是互相隔离的，而在用户态和内核态之间的上下文切换也是比较耗时的。
从上面我们可以看到，一次简单的IO过程产生了4次上下文切换，这个无疑在高并发场景下会对性能产生较大的影响。
那么什么又是DMA拷贝呢？
因为对于一个IO操作而言，都是通过CPU发出对应的指令来完成，但是相比CPU来说，IO的速度太慢了，CPU有大量的时间处于等待IO的状态。
因此就产生了DMA（Direct Memory Access）直接内存访问技术，本质上来说他就是一块主板上独立的芯片，通过它来进行内存和IO设备的数据传输，从而减少CPU的等待时间。
但是无论谁来拷贝，频繁的拷贝耗时也是对性能的影响。
零拷贝
零拷贝技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域，这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。
那么对于零拷贝而言，并非真的是完全没有数据拷贝的过程，只不过是减少用户态和内核态的切换次数以及CPU拷贝的次数。
这里，仅仅有针对性的来谈谈几种常见的零拷贝技术。
mmap+write
mmap+write简单来说就是使用mmap替换了read+write中的read操作，减少了一次CPU的拷贝。
mmap主要实现方式是将读缓冲区的地址和用户缓冲区的地址进行映射，内核缓冲区和应用缓冲区共享，从而减少了从读缓冲区到用户缓冲区的一次CPU拷贝。
整个过程发生了4次用户态和内核态的上下文切换和3次拷贝，具体流程如下：
用户进程通过
mmap()方法向操作系统发起调用，上下文从用户态转向内核态DMA控制器把数据从硬盘中拷贝到读缓冲区
上下文从内核态转为用户态，mmap调用返回
用户进程通过
write()方法发起调用，上下文从用户态转为内核态CPU将读缓冲区中数据拷贝到socket缓冲区
DMA控制器把数据从socket缓冲区拷贝到网卡，上下文从内核态切换回用户态，
write()返回
mmap的方式节省了一次CPU拷贝，同时由于用户进程中的内存是虚拟的，只是映射到内核的读缓冲区，所以可以节省一半的内存空间，比较适合大文件的传输。
sendfile
相比mmap来说，sendfile同样减少了一次CPU拷贝，而且还减少了2次上下文切换。
#include <sys/sendfile.h>ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);sendfile是Linux2.1内核版本后引入的一个系统调用函数，通过使用sendfile数据可以直接在内核空间进行传输，因此避免了用户空间和内核空间的拷贝，同时由于使用sendfile替代了read+write从而节省了一次系统调用，也就是2次上下文切换。
整个过程发生了2次用户态和内核态的上下文切换和3次拷贝，具体流程如下：
用户进程通过
sendfile()方法向操作系统发起调用，上下文从用户态转向内核态DMA控制器把数据从硬盘中拷贝到读缓冲区
CPU将读缓冲区中数据拷贝到socket缓冲区
DMA控制器把数据从socket缓冲区拷贝到网卡，上下文从内核态切换回用户态，
sendfile调用返回
sendfile方法IO数据对用户空间完全不可见，所以只能适用于完全不需要用户空间处理的情况，比如静态文件服务器。
sendfile+DMA Scatter/Gather
Linux2.4内核版本之后对sendfile做了进一步优化，通过引入新的硬件支持，这个方式叫做DMA Scatter/Gather 分散/收集功能。
它将读缓冲区中的数据描述信息--内存地址和偏移量记录到socket缓冲区，由 DMA 根据这些将数据从读缓冲区拷贝到网卡，相比之前版本减少了一次CPU拷贝的过程
整个过程发生了2次用户态和内核态的上下文切换和2次拷贝，其中更重要的是完全没有CPU拷贝，具体流程如下：
用户进程通过
sendfile()方法向操作系统发起调用，上下文从用户态转向内核态DMA控制器利用scatter把数据从硬盘中拷贝到读缓冲区离散存储
CPU把读缓冲区中的文件描述符和数据长度发送到socket缓冲区
DMA控制器根据文件描述符和数据长度，使用scatter/gather把数据从内核缓冲区拷贝到网卡
sendfile()调用返回，上下文从内核态切换回用户态
DMA gather和sendfile一样数据对用户空间不可见，而且需要硬件支持，同时输入文件描述符只能是文件，但是过程中完全没有CPU拷贝过程，极大提升了性能。
应用场景
对于文章开头说的两个场景：RocketMQ和Kafka都使用到了零拷贝的技术。
对于MQ而言，无非就是生产者发送数据到MQ然后持久化到磁盘，之后消费者从MQ读取数据。
对于RocketMQ来说这两个步骤使用的是mmap+write，而Kafka则是使用mmap+write持久化数据，发送数据使用sendfile。
总结
由于CPU和IO速度的差异问题，产生了DMA技术，通过DMA搬运来减少CPU的等待时间。
传统的IOread+write方式会产生2次DMA拷贝+2次CPU拷贝，同时有4次上下文切换。
而通过mmap+write方式则产生2次DMA拷贝+1次CPU拷贝，4次上下文切换，通过内存映射减少了一次CPU拷贝，可以减少内存使用，适合大文件的传输。
sendfile方式是新增的一个系统调用函数，产生2次DMA拷贝+1次CPU拷贝，但是只有2次上下文切换。因为只有一次调用，减少了上下文的切换，但是用户空间对IO数据不可见，适用于静态文件服务器。
sendfile+DMA gather方式产生2次DMA拷贝，没有CPU拷贝，而且也只有2次上下文切换。虽然极大地提升了性能，但是需要依赖新的硬件设备支持。
参考
《深入剖析Linux IO原理和几种零拷贝机制的实现》https://juejin.cn/post/6844903949359644680#heading-19
《原来 8 张图，就可以搞懂「零拷贝」了》https://www.cnblogs.com/xiaolincoding/p/13719610.html
《DMA：为什么Kafka这么快？》https://time.geekbang.org/column/article/118657
《腾讯游戏工程师：Linux Zero-copy技术全面揭秘》https://www.toutiao.com/i6898240850917114380/
什么是mmap？零拷贝？DMA？相关推荐
- Java 两种zero-copy零拷贝技术mmap和sendfile的介绍
详细介绍了两种zero-copy零拷贝技术mmap和sendfile的概念和基本原理. 文章目录 1 标准IO 2 零拷贝 2.1 sendfile调用 2.1 mmap调用 2.2 MQ中的应用 1 ...
- 零拷贝（Zero Copy）
一.零拷贝简介 零拷贝指的是,从一个存储区域到另一个存储区域的copy任务没有CPU参与.零拷贝通常用于网络文件传输,以减少CPU消耗和内存带宽占用,减少用户空间(用户可以操作的内存缓存区域)与CPU ...
- 操作系统-IO与零拷贝【万字文，比较详细的解析】
文章目录 IO 阻塞与非阻塞 I/O 和 同步与异步 I/O 阻塞IO 非阻塞IO IO多路复用 异步IO 直接与非直接I/O 缓冲与非缓冲I/O 零拷贝 标准设备 标准协议 利用中断减少CPU开销 ...
- 一篇文章彻底弄懂零拷贝底层原理
前言 零拷贝是网络编程的关键,很多性能优化都离不开零拷贝,很多优秀的开源框架底层都用的零拷贝,如Netty.RocketMQ.Spark等 正文 1. 再看IO 在深入零拷贝机制之前,先来了解下传统B ...
- linux零拷贝实现程序,浅析零拷贝技术
前言零拷贝(英语:Zero-copy)技术是指计算机执行操作时,CPU不需要先将数据从某处内存复制到另一个特定区域.这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽. 零拷贝操作减少了在用户 ...
- 零拷贝和多路复用模型~皎月
零拷贝和多路复用模型 1.零拷贝 1.1 零拷贝简介 零拷贝指的是从一个存储区域到另一个存储区域的 copy 任务没有 CPU 参与. 通常用于网络文件传输, 以减少 CPU 消耗 和 内存带 ...
- linux dma拷贝数据到用户态,图解：零拷贝Zero-Copy技术大揭秘
1.前言 像大白这种调包侠,深知不懂底层技术点就如同空中楼阁,再这样下去面阿里p10是没希望了. 想到这里,我开始慌了,所以今天和大家一起学习个底层技术点-零拷贝Zero-Copy. Linux系统中 ...
- 【Netty】mmap 和 sendFile 零拷贝原理
文章目录 一. 零拷贝 简介 二. 传统 BIO 数据拷贝分析 ( 4拷贝 4切换 ) 三. mmap 内存映射 ( 3拷贝 4切换 ) 四. sendFile 函数 ( Linux 2.1 优化 ) ...
- 零拷贝、mmap、sendfile
目录 零拷贝 mmap sendFile 总结 零拷贝 要了解零拷贝,首先得先了解一下传统 IO 的执行流程,这里举个例子,通过传统的 IO 进行网络传输来传输一个文件. 先上一张图,这张图就代表了传 ...
最新文章
- ubuntu添加sudo权限
- 如何学习修改linux系统固件,基于Linux的固件,如何实现更新的好方法？
- bluePen – 使用在线 CSS 编辑器美化你的网站
- 一个好的MIS系统应该考虑哪些内容
- OpenKruise ：SidecarSet 助力 Mesh 容器热升级
- 你的微信还安全吗？揭露清理僵尸粉的连环骗局
- 微信小程序：调用API接口
- 修改mysql的authen_MySQL连接抛出Authentication Failed错误的分析与解决思路
- svn问号图标解决方案
- 【Eternallyc】函数PlaySound和sndPlaySound
- Unity2D入门(二) 优化玩家移动手感（一）
- 洪水填充算法_优化洪水相似算法（渗流理论）
- 在Windows本地安装ElasticSearch和Kibana
- 在子窗体中点击超级链接，关闭子窗体并刷新打开它的父窗体
- kali启动ssh服务后，依然无法连接的问题。
- Lounge Lizard EP-4 for Mac(电钢琴插件)v4.2.5破解版
- pthread_cond_wait和pthread_cond_signal
- PHP 5.6 结束安全支持；万豪称 500 余万护照数据被窃
- 电脑桌面点击计算机反应迟钝,电脑桌面刷新反应慢？一个小操作即可解决！
- 视频消重入门级,学会这个你基本就能靠搬运维持生活自媒体视频如何消重?批量处理去重消重去水印去logo...