传统文件传输的问题

在网络编程中，如果我们想要提供文件传输的功能，最简单的方法就是用read将数据从磁盘上的文件中读取出来，再将其用write写入到socket中，通过网络协议发送给客户端。

ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);

但是就是这两个简单的操作，却带来了大量的性能丢失

例如我们的服务器需要为客户端提供一个下载操作，此时的操作如下

从上图可以看出，虽然仅仅只有这两行代码，但是却在发生了四次用户态和内核态的上下文切换，以及四次数据拷贝，也就是在这个地方产生了大量不必要的损耗。

那么为什么会发生这些操作呢？

上下文切换

由于read和recv是系统调用，所以每次调用该函数我们都需要从用户态切换至内核态，等待内核完成任务后再从内核态切换回用户态。

数据拷贝
上面也说了，由于数据的读取与写入都是由系统进行的，那么我们就得将数据从用户的缓冲区中拷贝到内核，

第一次拷贝：将磁盘中的数据拷贝到内核的缓冲区中
第二次拷贝：内核将数据处理完，接着拷贝到用户缓冲区中
第三次拷贝：此时需要通过socket将数据发送出去，将用户缓冲区中的数据拷贝至内核中socket的缓冲区中
第四次拷贝：把内核中socket缓冲区的数据拷贝到网卡的缓冲区中，通过网卡将数据发送出去。

所以要想优化传输性能，就要从减少数据拷贝和用户态内核态的上下文切换下手，这也就是零拷贝技术的由来。

什么是零拷贝呢？
零拷贝的主要任务就是避免CPU将数据从一块存储中拷贝到另一块存储，主要就是利用各种技术，避免让CPU做大量的数据拷贝任务，以此减少不必要的拷贝。或者借助其他的一些组件来完成简单的数据传输任务，让CPU解脱出来专注别的任务，使得系统资源的利用更加有效

Linux中实现零拷贝的方法

Linux中实现零拷贝的方法主要有以下几种，下面一一对其进行介绍

sendfile
mmap
splice
tee

sendfile
sendfile函数的作用是直接在两个文件描述符之间传递数据。由于整个操作完全在内核中（直接从内核缓冲区拷贝到socket缓冲区），从而避免了内核缓冲区和用户缓冲区之间的数据拷贝。

需要注意的是，in_fd必须是一个支持类似mmap函数的文件描述符，不能是socket或者管道，而out_fd必须是一个socket，由此可见sendfile是专门为了在网络上传输文件而实现的函数。

#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

参数：
out_fd : 待写入内容的文件描述符
in_fd : 待读出内容的文件描述符
offset : 文件的偏移量
count : 需要传输的字节数

返回值：
成功：返回传输的字节数
失败：返回-1并设置errno

mmap
mmap用于申请一段内存空间，也就是我们在进程间通信中提到过的共享内存，通过将内核缓冲区的数据映射到用户空间中，两者通过共享缓冲区直接访问统一资源，此时内核与用户空间就不需要再进行任何的数据拷贝操作了

其中mmap用于申请空间，额munmap用于释放这段空间。

#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);
int munmap(void *addr, size_t length);

参数：
addr : 内存的起始地址，如果设置为空则系统会自动分配
length : 指定内存段的长度
prot : 内存段的访问权限，通过按位与或可以取以下几种值

flag : 选项
fd : 被映射文件对应的文件描述符
offset : 文件的偏移量
返回值：
成功：成功时返回指向内存区域的指针
失败：返回MAP_FAILED并设置errno

splice
splice函数用于在两个文件描述符之间移动数据，而不需要数据在内核空间和用户空间中来回拷贝

需要注意的是，使用splice函数时fd_in和fd_out至少有一个是管道文件描述符，即

#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out,loff_t *off_out, size_t len, unsigned int flags);

参数：
out_fd : 待写入内容的文件描述符
off_out : 待写入文件描述符的偏移量，如果文件描述符为管道则必须为空
in_fd : 待读出内容的文件描述符
off_in : 待读出文件描述符的偏移量，如果文件描述符为管道则必须为空
len : 需要复制的字节数
flags : 选项

返回值：
成功：返回在两个文件描述符之间复制的字节数
没有数据：返回0
失败：返回-1并设置errno
可能产生的errno

tee
tee函数用于在两个管道文件描述符之间复制数据，并且它是直接复制，不会将数据读出，所以源文件上的数据仍可以用于后面的读操作

#include <fcntl.h>
ssize_t tee(int fd_in, int fd_out, size_t len, unsigned int flags);

参数：
out_fd : 待写入内容的文件描述符
in_fd : 待读出内容的文件描述符
len : 需要复制的字节数
flags : 选项

返回值：
成功：返回在两个文件描述符之间复制的字节数
没有数据：返回0
失败：返回-1并设置errno

Linux网络编程 | 零拷贝：sendfile、mmap、splice、tee相关推荐

Linux网络处理“零拷贝”技术mmap()内核进程间通信设计8086分页管理——摆在一起来谈谈...
Jack:最近听说了网络处理的"零拷贝"技术,觉得非常神奇,在网上查阅了很多资料.不过,并不是太明白--知其然,而不知其所以然.你能通俗地解释一下吗? 我:这是一个相对比较复杂的话 ...
Java 两种zero-copy零拷贝技术mmap和sendfile的介绍
详细介绍了两种zero-copy零拷贝技术mmap和sendfile的概念和基本原理. 文章目录 1 标准IO 2 零拷贝 2.1 sendfile调用 2.1 mmap调用 2.2 MQ中的应用 1 ...
什么是零拷贝？mmap与sendFile的区别是什么？
零拷贝这三个字,一直是服务器网络编程的关键字,任何性能优化都离不开.在 Java 程序员的世界,常用的零拷贝有 mmap 和 sendFile.那么,他们在 OS 里,到底是怎么样的一个的设计?本文将 ...
消息中间件零拷贝？mmap与sendFile的区别是什么？
什么是零拷贝? 在这个方法里面,我们没有在内存层面去"复制(Copy)"数据,所以这个方法,也被称之为零拷贝(Zero-Copy).IBM Developer Works里面有一篇 ...
sendfile:Linux中的零拷贝
如今几乎每个人都听说过Linux中所谓的"零拷贝"特性,然而我经常碰到没有充分理解这个问题的人们.因此,我决定写一些文章略微深入的讲述这个问题,希望能将这个有用的特性解释清楚.在本 ...
Linux 零拷贝 sendfile函数中文说明及实际操作
Sendfile函数说明 #include ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count); sendfi ...
Linux网络编程（六）-高并发服务器03-I/O多路复用03：epoll【红黑树；根节点为监听节点】【无宏FD_SETSIZE限制；不需每次都将要监听的文件描述符从应用层拷贝到内核；不需遍历树】
一.epoll概述 epoll的本质是一个[红黑树].监听结点为根节点. 大量并发,少量活跃效率高. epoll是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并 ...
Linux 中的零拷贝技术，第 2 部分
技术实现本系列由两篇文章组成,介绍了当前用于 Linux 操作系统上的几种零拷贝技术,简单描述了各种零拷贝技术的实现,以及它们的特点和适用场景.第一部分主要介绍了一些零拷贝技术的相关背景知识,简要概 ...
Linux 中的零拷贝技术
引言传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的,即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输.这样做最大的好处是可以减 ...

Linux网络编程 | 零拷贝：sendfile、mmap、splice、tee

文章目录

传统文件传输的问题

Linux中实现零拷贝的方法

Linux网络编程 | 零拷贝：sendfile、mmap、splice、tee相关推荐

最新文章

热门文章

Linux网络编程 | 零拷贝 ：sendfile、mmap、splice、tee

文章目录

传统文件传输的问题

Linux中实现零拷贝的方法

Linux网络编程 | 零拷贝 ：sendfile、mmap、splice、tee相关推荐

最新文章

热门文章

Linux网络编程 | 零拷贝：sendfile、mmap、splice、tee

Linux网络编程 | 零拷贝：sendfile、mmap、splice、tee相关推荐