Kafka速度快的原因-sendfile零拷贝介绍

所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中，而不需要经由应用程序之手。零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。对 Linux 操作系统而言，零拷贝技术依赖于底层的 sendfile() 方法实现。对应于 Java 语言，FileChannal.transferTo() 方法的底层实现就是 sendfile() 方法。

所谓零拷贝，就是减少上下文切换，不经由用户空间，直接在内核空间把数据发往网卡接口。

操作系统底层提供的sendfile（transferTo()函数），零拷贝

sendfile
Linux2.1内核开始引入了sendfile函数，用于将文件通过socket传送。开始时跟mmap没什么区别，但是Linux2.4做出了重大优化，将零拷贝推到顶峰。

优化后的处理过程如下：

将文件拷贝到kernel buffer中；
向socket buffer中追加当前要发生的数据在kernel buffer中的位置和偏移量；
根据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到网卡设备中；

Kafka速度快的原因-sendfile零拷贝介绍相关推荐

Linux网络编程--sendfile零拷贝高效率发送文件
本博文介绍使用sendfile函数进行零拷贝发送文件,实现高效数据传输,并对其进行验证. 那么什么是sendfile呢? linux系统使用man sendfile,查看sendfile原型如下: # ...
【Netty】mmap 和 sendFile 零拷贝原理
文章目录一. 零拷贝简介二. 传统 BIO 数据拷贝分析 ( 4拷贝 4切换 ) 三. mmap 内存映射 ( 3拷贝 4切换 ) 四. sendFile 函数 ( Linux 2.1 优化 ) ...
Java 两种zero-copy零拷贝技术mmap和sendfile的介绍
详细介绍了两种zero-copy零拷贝技术mmap和sendfile的概念和基本原理. 文章目录 1 标准IO 2 零拷贝 2.1 sendfile调用 2.1 mmap调用 2.2 MQ中的应用 1 ...
通俗易懂的Kafka零拷贝机制
Kafka之所以那么快,其中一个很大的原因就是零拷贝(Zero-copy)技术,零拷贝不是kafka的专利,而是操作系统的升级,又比如Netty,也用到了零拷贝.下面我就画图讲解零拷贝,如果对你有帮助 ...
Netty、Kafka中的零拷贝技术到底有多牛?
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章来源:rrd.me/ggFBd 零拷贝,从字面意思理解就是数据不需 ...
深入探秘 Netty、Kafka 中的零拷贝技术！
作者:ksfzhaohui 原文:juejin.im/post/5cad6f1ef265da039f0ef5df 零拷贝,从字面意思理解就是数据不需要来回的拷贝,大大提升了系统的性能.我们也经常在 J ...
零拷贝技术在 Java 中为何这么牛？
[CSDN 编者按]大家在学计算机的过程中是否会遇到"零拷贝"这样的字眼,本文针对这一技术为大家提供详细的概念解释,并对其产出的意义及其在Java中的应用进行说明. 责编 | 欧阳 ...
Java IO篇：什么是零拷贝？
在介绍零拷贝的IO模式之前,我们先简单了解下传统的IO模式是怎么样的? 一.传统的IO模式: 传统的IO模式,主要包括 read 和 write 过程: read:把数据从磁盘读取到内核缓冲区,再拷贝 ...
深入剖析Linux IO原理和几种零拷贝机制的实现
本文来说下Linux IO原理和几种零拷贝机制的实现文章目录概述物理内存和虚拟内存物理内存虚拟内存内核空间和用户空间内核空间用户空间 Linux的内部层级结构 Linux I/O读写方 ...

Kafka速度快的原因-sendfile零拷贝介绍

Kafka速度快的原因-sendfile零拷贝介绍相关推荐

最新文章

热门文章