Linux系统I/O

Linux中传统的I/O操作是一种缓存I/O，I/O过程中产生的数据传输通常需要在缓冲区中进行多次拷贝。当应用程序需要访问某个数据(read()操作)时，操作系统会先判断这块数据是否在内核缓冲区中，如果在内核缓冲区中找不到这块数据，内核会先将这块数据从磁盘中读出来放到内核缓冲区中，应用程序再从缓冲区中读取。当应用程序需要将数据输出(write())时，同样需要先将数据拷贝到输出堆栈相关的内核缓冲区，再从内核缓冲区拷贝到输出设备中。

while((n = read(diskfd, buf, BUF_SIZE)) > 0)

write(sockfd, buf , n);

以一次网络请求为例，如下图。对于一次数据读取，用户应用程序只需要调用read()及write()两个系统调用就可以完成一次数据传输，但这个过程中数据经过了四次拷贝，且数据拷贝需要由CPU来调控。在某些情况下，这些数据拷贝会极大地降低系统数据传输的性能，比如文件服务器中，一个文件从磁盘读取后不加修改地回传给调用方，那么这占用CPU时间去处理这四次数据拷贝的性价比是极低的。

一次处理网络调用的系统I/O的流程：

发出read()系统调用，导致应用程序空间到内核空间的上下文切换，将文件数据从磁盘上读取到内核空间缓冲区。

将内核空间缓冲区的数据拷贝到应用程序空间缓冲区，read()系统调用返回，导致内核空间到应用程序空间的上下文切换。

发出write()系统调用，导致应用程序空间到内核空间的上下文切换，将应用程序缓冲区的数据拷贝到网络堆栈相关的内核缓冲区(socket缓冲区)。

write()系统调用返回，导致内核空间到应用程序空间的上下文切换，数据被拷贝到网卡子系统进行打包发送。

以上可以发现，传统的Linux系统I/O 操作要进行4次内核空间与应用程序空间的上下文切换，以及4次数据拷贝。

image.png

硬件系统的支持

DMA

直接内存访问(Direct Memory Access，DMA)是计算机科学中的一种内存访问技术，允许某些电脑内部的硬件子系统独立地读取系统内存，而不需要中央处理器(CPU)的介入。在同等程度的处理器负担下，DMA是一种快速的数据传送方式。这类子系统包括硬盘控制器、显卡、网卡和声卡。

文件cache(buffer cache/page cache)

在Linux系统中，当应用程序需要读取文件中的数据时，操作系统先分配一些内存，将数据从存储设备读入到这些内存中，然后再将数据传递应用进程；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写入磁盘。文件cache管理就是对这些由操作系统分配并用开存储文件数据的内存的管理。

在Linux系统中，文件cache分为两个层面，page cache 与 Buffer cache，每个page cache包含若干个buffer cache。操作系统中，磁盘文件都是由一系列的数据块(Block)组成，buffer cache也叫块缓存，是对磁盘一个数据块的缓存，目的是为了在程序多次访问同一个磁盘块时减少访问时间；而文件系统对数据的组织形式为页，page cache为页缓存，是由多个块缓存构成，其对应的缓存数据块在磁盘上不一定是连续的。也就是说buffer cache缓存文件的具体内容--物理磁盘上的磁盘块，加速对磁盘的访问，而page cache缓存文件的逻辑内容，加速对文件内容的访问。

buffer cache的大小一般为1k，page cache在32位系统上一般为4k，在64位系统上一般为8k。磁盘数据块、buffer cache、page cache及文件的关系如下图：

image.png

文件cache的目的是加快对数据文件的访问，同时会有一个预读过程。对于每个文件的第一次读请求，系统会读入所请求的页面并读入紧随其后的几个页面；对于第二次读请求，如果所读页面在cache中，则会直接返回，同时又一个异步预读的过程(将读取页面的下几页读入cache中)，如果不在cache中，说明读请求不是顺序读，则会从磁盘中读取文件内容并刷新cache。因此在顺序读取情况下，读取数据的性能近乎内存读取。

DMA允许硬件子系统直接将数据从磁盘读取到内核缓冲区，那么在一次数据传输中，磁盘与内核缓冲区，输出设备与内核缓冲区之间的两次数据拷贝就不需要CPU进行调度，CPU只需要进行缓冲区管理、以及创建和处理DMA。而Page Cache/Buffer Cache的预读取机制则加快了数据的访问效率。如下图所示，还是以文件服务器请求为例，此时CPU负责的数据拷贝次数减少了两次，数据传输性能有了较大的提高。

使用DMA的系统I/O操作要进行4次内核空间与应用程序空间的上下文切换，2次CPU数据拷贝及2次DMA数据拷贝。

image.png

系统调用的丰富

Mmap

mmap()系统调用

Mmap内存映射与标准I/O操作的区别在于当应用程序需要访问数据时，不需要进行内核缓冲区到应用程序缓冲区之间的数据拷贝。Mmap使得应用程序和操作系统共享内核缓冲区，应用程序直接对内核缓冲区进行读写操作，不需要进行数据拷贝。Linux系统中通过调用mmap()替代read()操作。

tmp_buf = mmap(file, len);

write(socket, tmp_buf, len);

同样以文件服务器获取文件(不加修改)为例，通过mmap操作的一次系统I/O过程如下：

应用程序发出mmap()系统调用，如果文件数据不在缓冲区中，通过DMA将磁盘文件中的内容拷贝到内核缓冲区(页缓存)。

mmap系统调用返回，应用程序空间与内核空间共享这个缓冲区，应用程序可以像操作应用程序缓冲区中的数据一样操作这个由内核空间共享的缓冲区数据。

应用程序发出write()系统调用，将数据从内核缓冲区拷贝到内核空间网络堆栈相关联的缓冲区(如socket缓冲区)。

write系统调用返回，通过DMA将socket缓冲区中的数据传递给网卡子系统进行打包发送。

通过以上流程可以看到，数据拷贝从原来的4次变为3次，2次DMA拷贝1次内核空间数据拷贝，CPU只需要调控1次内核空间之间的数据拷贝，CPU花费在数据拷贝上的时间进一步减少(4次上下文切换没有改变)。对于大容量文件读写，采用mmap的方式其读写效率和性能都比较高。(数据页较多，需要多次拷贝)

image.png

注：mmap()是让应用程序空间与内核空间共享DMA从磁盘中读取的文件缓冲，也就是应用程序能直接读写这部分PageCache，至于上图中从页缓存到socket缓冲区的数据拷贝只是文件服务器的处理，根据应用程序的不同会有不同的处理，应用程序也可以读取数据后进行修改。重点是虚拟内存映射，内核缓存共享。

JDK NIO MappedByteBuffer 与 mmap

djk中nio包下的MappedByteBuffer，官方注释为A direct byte buffer whose content is a memory-mapped region of a file，即直接字节缓冲区，其内容是文件的内存映射区域。FileChannel是是nio操作文件的类，其map()方法在在实现类中调用native map0()本地方法，该方法通过mmap()实现，因此是将文件从磁盘读取到内核缓冲区，用户应用程序空间直接操作内核空间共享的缓冲区，Java程序通过MappedByteBuffer的get()方法获取内存数据。

MappedByteBuffer允许Java程序直接从内存访问文件，可以将整个文件或文件的一部分映射到内存中，由操作系统进行相关的请求并将内存中的修改写入到磁盘中。

FileChannel map有三种模式

// 只读模式，不能进行写操作

public static final MapMode READ_ONLY = new MapMode("READ_ONLY");

// 可读可写模式，对缓冲区的修改最终会同步到文件中

public static final MapMode READ_WRITE = new MapMode("READ_WRITE");

// 私有模式，对缓冲区数据进行修改时，被修改部分缓冲区会拷贝一份到应用程序空间，copy-on-write

public static final MapMode PRIVATE = new MapMode("PRIVATE");

MappedByteBuffer的应用，以rocketMQ为例(简单介绍)。

producer端发送消息最终会被写入到commitLog文件中，consumer端消费时先从订阅的consumeQueue中读取持久化消息的commitLogOffset、size等内容，随后再根据offset、size从commitLog中读取消息的真正实体内容。其中，commitLog是混合部署的，所有topic下的消息队列共用一个commitLog日志数据文件，consumeQueue类似于索引，同时区分开不同topic下不同MessageQueue的消息。

rocketMQ利用MappedByteBuffer及PageCache加速对持久化文件的读写操作。rocketMQ通过MappedByteBuffer将日志数据文件映射到OS的虚拟内存中(PageCache),写消息时首先写入PageCache，通过刷盘方式(异步或同步)将消息批量持久化到磁盘；consumer消费消息时，读取consumeQueue是顺序读取的，虽然有多个消费者操作不同的consumeQueue，对混合部署的commitLog的访问时随机的，但整体上是从旧到新的有序读，加上PageCache的预读机制，大部分情况下消息还是从PageCache中读取，不会产生太多的缺页中断(要读取的消息不在pageCache中)而从磁盘中读取。

rocketMQ利用mmap()使程序与内核空间共享内核缓冲区，直接对PageCache中的文件进行读写操作，加速对消息的读写请求，这是其高吞吐量的重要手段。

image.png

Mmap的问题

使用mmap能减少CPU数据拷贝的次数，但也存在一些问题。

当对文件进行内存映射，然后调用write()，如果此时有其他进程截断(truncate)了这个文件，write()调用会因为访问非法地址而被SIGBUS信号终止，SIGBUS信号默认会杀掉进程。解决方法一个是设置新的信号处理器，当发生上述情况时不结束进程；另一个是在对文件进行内存映射前使用文件租借锁。

mmap内存映射的大小是有限制的，其大小受OS虚拟内存大小的限制，一般只能映射1.5-2G的文件至用户态的虚拟内存空间。对于MappedByteBuffer来说，虚拟内存是不属于jvm堆内存的，所以大小不受JVM的-Xmx参数限制，且Java应用程序无法占用全部的虚拟内存(其他进程使用)。这也是rocketMQ默认设置单个commitLog日志数据文件大小为1G的原因。

sendfile

sendfile()流程

从Linux2.1开始，Linux引入sendfile()简化操作。取消read()/write()，mmap()/write()。

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

调用sendfile的流程如下：

应用程序调用sendfile()，导致应用程序空间到内核空间的上下文切换，数据如果不在缓存中，则通过DMA将数据从磁盘拷贝到内核缓冲区，然后再将数据从内核缓冲区拷贝到内核空间socket缓冲区中。

sendfile()返回，导致内核空间到应用程序空间的上下文切换。通过DMA将内核空间socket缓冲区的数据发送到网卡子系统进行打包发送。

image.png

通过sendfile()的I/O进行了2次应用程序空间与内核空间的上下文切换，以及3次数据拷贝，其中2次是DMA拷贝，1次是CPU拷贝。sendfile相比起mmap，数据信息没有进入到应用程序空间，所以能减少2次上下文切换的开销，而数据拷贝次数是一样的。

上述流程也可以看出，sendfile()适合对文件不加修改的I/O操作。

带有DMA收集拷贝功能的sendfile

sendfile()只是减少应用程序空间与内核空间的上下文切换，并没有减少CPU数据拷贝的次数，还存在一次内核空间的两个缓冲区的数据拷贝。要实现CPU零数据拷贝，需要引入一些硬件上的支持。在上一小节的sendfile流程中，数据需要从内核缓冲区拷贝到内核空间socket缓冲区，数据都是在内核空间，如果socket缓冲区到网卡的这次DMA数据传输操作能直接读取到内核缓冲区中的数据，那么这一次的CPU数据拷贝也就能避免。要达到这个目的，DMA需要知道存有文件位置和长度信息的缓冲区描述符，即socket缓冲区需要从内核缓冲区接收这部分信息，DMA需要支持数据收集功能。

image.png

sendfile()调用后，数据从磁盘文件拷贝到内核缓冲区中，然后将文件位置和长度信息的缓冲区描述符传递到socket缓冲区，此时数据并没有被拷贝。之后网卡子系统根据socket缓冲区中的文件信息利用DMA技术收集拷贝数据。整个过程进行了2次内核空间和应用程序空间的上下文切换，及2次DMA数据拷贝，CPU不需要参与数据拷贝工作，从而实现零拷贝。当然DMA收集拷贝功能需要硬件和驱动程序的支持。

总结

在操作系统中，硬件和软件之间的数据传输可以通过DMA来进行，DMA进行数据传输的过程几乎不需要CPU参与，但是在内核缓冲区(页缓存)与应用程序缓冲区之间的数据拷贝并没有类似于DMA之类的工具可以使用，mmap、sendfile都是为了减少数据在内核空间与应用程序空间传输时的数据拷贝和上下文切换次数，有效地改善数据在两者之间传递的效率。

linux操作系统的零拷贝技术并不单指某一种方式，现有的零拷贝技术种类非常多，在不同的Linux内核版本上有不同的支持。常见的，如果应用程序需要修改数据，则使用mmap()，如果只进行文件数据传输，则可选择sendfile()。

另外，关于零拷贝技术适用于什么场景？在上述的描述中，数据在传递过程中，除了mmap外，应用程序和操作系统几乎是没有改变数据的，mmap的内存映射也是没有改变数据的，也就是说在静态资源的读取场景下，零拷贝更能发挥作用。正如其名，拷贝是在不改变数据的情况下，零是利用手段去减少CPU参与数据拷贝的次数，以释放CPU去进行其他系统调用与计算。