拷贝依赖_还不懂零拷贝(Zero-Copy)?怎么称得上高级程序员
概述
考虑这样一种常用的情形:你需要将静态内容(类似图片、文件)展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中,然后将这个buf通过socket传输给用户,进而用户或者静态内容的展示。这看起来再正常不过了,但是实际上这是很低效的流程,我们把上面的这种情形抽象成下面的过程:
read(file, tmp_buf, len);write(socket, tmp_buf, len);
首先调用read将静态内容,这里假设为文件A,读取到tmp_buf, 然后调用write将tmp_buf写入到socket中,如图:
在这个过程中文件A的经历了4次copy的过程:
- 首先,调用read时,文件A拷贝到了kernel模式;
- 之后,CPU控制将kernel模式数据copy到user模式下;
- 调用write时,先将user模式下的内容copy到kernel模式下的socket的buffer中;
- 最后将kernel模式下的socket buffer的数据copy到网卡设备中传送;
从上面的过程可以看出,数据白白从kernel模式到user模式走了一圈,浪费了2次copy(第一次,从kernel模式拷贝到user模式;第二次从user模式再拷贝回kernel模式,即上面4次过程的第2和3步骤。)。而且上面的过程中kernel和user模式的上下文的切换也是4次。
幸运的是,你可以用一种叫做Zero-Copy的技术来去掉这些无谓的copy。应用程序用Zero-Copy来请求kernel直接把disk的data传输给socket,而不是通过应用程序传输。Zero-Copy大大提高了应用程序的性能,并且减少了kernel和user模式上下文的切换。
详述
Zero-Copy技术省去了将操作系统的read buffer拷贝到程序的buffer,以及从程序buffer拷贝到socket buffer的步骤,直接将read buffer拷贝到socket buffer. Java NIO中的FileChannal.transferTo()方法就是这样的实现,这个实现是依赖于操作系统底层的sendFile()实现的。
public void transferTo(long position, long count, WritableByteChannel target);
他底层的调用时系统调用**sendFile()**方法:
#include ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
下图展示了在transferTo()之后的数据流向:
下图展示了在使用transferTo()之后的上下文切换:
使用了Zero-Copy技术之后,整个过程如下:
- transferTo()方法使得文件A的内容直接拷贝到一个read buffer(kernel buffer)中;
- 然后数据(kernel buffer)拷贝到socket buffer中。
- 最后将socket buffer中的数据拷贝到网卡设备(protocol engine)中传输;
这显然是一个伟大的进步:这里把上下文的切换次数从4次减少到2次,同时也把数据copy的次数从4次降低到了3次。
但是这是Zero-Copy么,答案是否定的。
进阶
Linux 2.1内核开始引入了sendfile函数(上一节有提到),用于将文件通过socket传送。
sendfile(socket, file, len);
该函数通过一次系统调用完成了文件的传送,减少了原来read/write方式的模式切换。此外更是减少了数据的copy, sendfile的详细过程如图:
通过sendfile传送文件只需要一次系统调用,当调用sendfile时:
- 首先(通过DMA)将数据从磁盘读取到kernel buffer中;
- 然后将kernel buffer拷贝到socket buffer中;
- 最后将socket buffer中的数据copy到网卡设备(protocol engine)中发送;
这个过程就是第二节(详述)中的那个步骤。
sendfiel与read/write模式相比,少了一次copy。但是从上述过程中也可以发现从kernel buffer中将数据copy到socket buffer是没有必要的。
Linux2.4 内核对sendfile做了改进,如图:
改进后的处理过程如下:
- 将文件拷贝到kernel buffer中;
- 向socket buffer中追加当前要发生的数据在kernel buffer中的位置和偏移量;
- 根据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到网卡设备(protocol engine)中;
经过上述过程,数据只经过了2次copy就从磁盘传送出去了。
这个才是真正的Zero-Copy(这里的零拷贝是针对kernel来讲的,数据在kernel模式下是Zero-Copy)。
正是Linux2.4的内核做了改进,Java中的TransferTo()实现了Zero-Copy,如下图:
Zero-Copy技术的使用场景有很多,比如Kafka, 又或者是Netty等,可以大大提升程序的性能。
版权声明:本文为CSDN博主「朱小厮」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u013256816/article/details/52589524
拷贝依赖_还不懂零拷贝(Zero-Copy)?怎么称得上高级程序员相关推荐
- 如果不懂 numpy,请别说自己是 python 程序员
文章目录 0. 前言 1. list VS ndarray 2. dtype AND shape 3. 创建数组 (1) 创建简单数组 (2) 创建随机数组 (3) 在数值范围内创建数组 (4) 从已 ...
- 从零基础到高级程序员需要走多久?
原文:从零基础到高级程序员需要走多久? 绝大多数计算机专业的学生是零基础,即时通讯软件 其中不乏被调剂的.等到毕业之际,有的成了大神,进入BAT或者google微软,有的还是零基础-- 我高中搞竞赛, ...
- 了解c语言程序员(工程师)岗位需要掌握哪些能力?_码畜,码农,码皇,程序员有什么区别?...
这里是开发者交流聚集地,欢迎加入我们一起技术分享,互相交流! 技术交流群:关注本公众号,点击菜单栏即可获取 很多年轻的程序员可能不太了解,虽然大家看着都是写代码的,但从搬砖的码畜到码农到码皇之路还是挺 ...
- java 高级程序员_如何才能成为java高级程序员?
身为程序员,一旦进入技术行列,就开启了持续学习的道路,更迭迅速的互联网时代,技术自然也是一代一代的更新,在技术进阶的道路上,要不断吸收新的想法和技术知识. 牛逼的人总是让人羡慕,但如何才能让自己成为牛 ...
- c# 从地址拷贝byte_面试必备的 “零拷贝” 问题!从头给你说!
本文作者:ksfzhaohui 来源:juejin.im/post/5cad6f1ef265da039f0ef5df 前言 I/O概念 1.缓冲区 2.虚拟内存 3.mmap+write方式 4.se ...
- 不允许对系统目录进行即席更新_还不懂Docker?一个故事安排的明明白白!
程序员受苦久矣 多年前的一个夜晚,风雨大作,一个名叫Docker的年轻人来到Linux帝国拜见帝国的长老. "Linux长老,天下程序员苦于应用部署久矣,我要改变这一现状,希望长老你能帮帮我 ...
- neo4j browser执行脚本后不提示用时_还不懂什么是分层自动化测试的,有赞的实践经历告诉你...
来源:https://testerhome.com/articles/19109 # 背景 先理一下自动化测试的概念,从广义上来说,一切通过工具(程序)的方式来代替或者辅助手工测试的行为都可以成为自 ...
- 递归下降分析法的基本思想。_还不懂这八大算法思想,刷再多题也白搭!
各位朋友好久不见呢.最近由于刚入职,作为职场萌新,所以大部分时间都花在了工作上.因而也没有太多时间来写文章啦,这篇文章也是定题了许久,迟迟没有落笔.等之后工作慢慢稳定,业务熟练起来,文章更新频率就会高 ...
- 老师讲的真棒!Java高级程序员面试集合,你还看不懂吗?
前言: 首先介绍一下我的同学,专科毕业应用电子技术专业,已经毕业快两年了.因为专业的原因工作一年觉得没什么发展前途就想转行,身为他的"好基友",他觉得我这个工作挺好的,就咨询了我一 ...
最新文章
- php socket
- ThinkPHP的访问模式分为四种模式
- java ready()_Java.io.BufferedReader.ready()方法实例
- 一杆台球的击球力道竟能传递35米?
- 摆脱困境:从计划作业中调用安全方法
- 客户端如何连接oracle数据库,ORACLE的客户端如何连接到数据库(三)
- 基于phash和汉明距离找出相似图片
- Kafka follower副本为什么不对外提供服务
- UBUNTU开启IPV6
- pandas不显示index_Pandas中文官档 ~ 基础用法1
- ESP32核心原理图
- Navicat执行sql文件没反应
- strpos php 中文,php strpos是什么
- java 获取当前年份 月份,当月第一天和最后一天
- ArrayMap 源码解析
- 每天一个测试小技巧之Faker——随机数据生成
- python数字切片_Python学习笔记-数字,列表,元祖,切片,循环
- MSP430单片机各种寄存器总结(2)——UCS
- 深度聚类方法之对比聚类(Contrastive Clustering,CC)
- DOC文件丢失怎么恢复?用这7种方法找回
热门文章
- python 多继承与super使用详解_继承中的MRO与super详解
- js判断是否为数字_第23题:JavaScript 中如何判断变量是否为数字 ?
- 深度学习之图像处理---七级浮屠
- python图像处理专业博客
- 制作U盘启动LINUX安装(Ubuntu12.04)
- 力扣:1两数之和(python)-------->双向取值
- 【java读书笔记】——java的异常处理
- C# List.sort排序详解(多权重,升序降序)
- python中fork创建新的进程
- os.walk 遍历目录下目录和文件