linux flush 磁盘,linux 磁盘IO栈和优化思路
首先来看一下整个的IO栈,大概分为7层,每一层都有其特殊的功能和意义。
IO Layer
1、VFS层
即虚拟文件系统,这是linux内核为了应对不同的文件系统(ext3\ext4)抽象出来的,直接与系统调用对接,当read/write系统调用进行读写操作时,首先与内核的VFS打交道。
VFS层屏蔽了不同文件系统的差异,向上层提供统一的文件读写访问接口。
与VFS相关的数据结构,只位于内存中。这些数据结构实现VFS到实际文件系统的转换,包括超级块、VFS的索引节点、各种文件操作函数的转换等。
超级块和VFS inode对应磁盘上的超级块和inode,来自于disk上的,目录项是系统在内存中根据inode建立的文件层级关系。
2、FS层
具体的文件系统层,比如ext3、ext4等,文件系统建立在逻辑分区之上,创建好逻辑分区,并在其上创建相应类型的文件系统,就会在此逻辑分区上建立超级块和inode表,当文件系统mount时,这些数据结构就被读入内存,由VFS层在内存中建立相应的对应关系。
3、pagecache层
pagecache是内存中开辟出一块地方用于将经常访问的数据存储在内存中,这样当IO请求来时:对应读请求,先在pagecache中查找,如果命中则直接返回,这样就减少了从磁盘读取数据的延迟,内存数据访问速度远远大于disk io,提高了性能;对于写请求直接将数据写到pagecache后就返回写完成,等到操作系统的机制将cache中的数据flush到磁盘,这样也提高了写的效率。
注意:对于直接IO,是不经过pagecache的。
如何查看当前内存cache:
a、free -h
b、cat /proc/meminfo
Cached: 1071576 kB #当前cache使用量
SwapCached: 0 kB #准备写入swap的数据,这一项与使用swap有关
......
Dirty: 0 kB #内存中缓存的脏数据,即这些数据在内存中已经更新,还没有写到disk,如果此时机器断电,则数据将丢失
Writeback: 0 kB #正在从cache写回disk的数据大小
一般关注以上几个与cache相关的项。
与pagecache相关的内核参数:
vm.dirty_background_ratio :这个参数表示当pagecache占到了内存的百分之多少,就开始异步的flushcache数据到disk
vm.dirty_ratio :这个参数是个硬限制,表示pagecache占到内存的百分之多少,阻塞IO进行同步flush cache数据到disk的操作
vm.dirty_writeback_centisecs :表示多长时间 pdflush/flush/kdmflush 这些进程会起来一次,进行cache数据flush。
vm.dirty_expire_centisecs :表示执行flush操作的进程起来之后,将多长时间的过期数据flush到disk。
如果不想过量的使用pagecache,可以这么设置:
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10
4、通用块层(generic block layer)
这一层其实是对底下的块设备提供了一个抽象,屏蔽了不同块设备不同的访问方式。
5、IO调度层(IO scheduler layer)
IO调度层主要完成块设备的请求队列的处理。即接收通用块层发出的I/O请求,缓存请求并试图合并相邻的请求。并根据设置好的调度算法,回调驱动层提供的请求处理函数,以处理具体的I/O请求。
常见的I/O调度算法包括Noop调度算法(No Operation)、CFQ(完全公正排队I/O调度算法)、DeadLine(截止时间调度算法)
我们可以根据应用类型来调整IO scheduler,根据后端存储或者磁盘调整io队列和队列深度,以优化磁盘的IO性能。
# cat /sys/block/sda/queue/nr_requests
128
# cat /sys/block/sda/device/queue_depth
64
# cat /sys/block/sda/queue/scheduler
noop [deadline] cfq
6、块设备驱动层
该层主要给上层提供块设备的驱动接口函数,完成相应的读写操作。
7、块设备层
块设备层真正的执行读写处理,对于SATA、SAS、等磁盘就是寻道读取,对于SSD盘就是直接读取,所以块设备对于整体的IO性能还是有很大的影响。
linux flush 磁盘,linux 磁盘IO栈和优化思路相关推荐
- linux flush 文件,Linux文件系统学习:io的plug过程-blk_flush_plug_list的情况
在上篇文章中我们看到 if (plug) { if (!request_count) trace_block_plug(q); else { if (request_count >= BLK_M ...
- linux flush 文件,Linux 写文件时 何时 flush buffer
遇到了一个很奇怪的问题,读文件失败.尤其是想要读取特别小的文件的时候. 流程是: 数据流 -> 存入文件 -> 读出文件数据 -> 操作 开始怀疑文件没有保存下来. 仔细查看了log ...
- linux flush 保证 磁盘,linux cache介绍及控制
参考文档 有关Cache 文件缓存是提升性能的重要手段.毋庸置疑,读缓存(Read caching)在绝大多数情况下是有益无害的(程序可以直接从RAM中读取数据),而写缓存(Write caching ...
- linux下测试磁盘的读写IO速度-简易方法
linux下测试磁盘的读写IO速度-简易方法 参考资料: https://blog.csdn.net/zqtsx/article/details/25487185 一:使用hdparm命令 这是一个是 ...
- linux 平均磁盘请求数量,Linux之 iostat 解读磁盘io
Linux之 iostat 解读磁盘io 发布时间:2020-08-17 22:44:04 来源:ITPUB博客 阅读:88 作者:张冲andy 1.iostat [oracle@orastb log ...
- Linux确认服务所在磁盘io性能状态
Linux确认服务所在磁盘io性能状态 1.背景 监控服务应用influxdb在上线前需要检查磁盘io性能,防止磁盘io性能太低影响监控数据量写入延迟. 下面以influxdb服务为例,且数据落盘在/ ...
- 分享一篇很棒的Linux IO栈讲解
写在前面 在开始正式的讨论前,我先抛出几个问题: 谈到磁盘时,常说的HDD磁盘和SSD磁盘最大的区别是什么?这些差异会影响我们的系统设计吗? 单线程写文件有点慢,那多开几个线程一起写是不是可以加速呢? ...
- Linux存储IO栈(4)-- SCSI子系统之概述
概述 Linux SCSI子系统的分层架构: 低层:代表与SCSI的物理接口的实际驱动器,例如各个厂商为其特定的主机适配器(Host Bus Adapter, HBA)开发的驱动,低层驱动主要作用是发 ...
- linux io栈(读写流程)
文章目录 IO 栈概述 读流程 写流程 块设备 IO 栈概述 1 应用程序通过系统调用访问文件(无论是块设备文件,还是各种文件系统中的文件).可以通过open系统调用,也可以通过memory map的 ...
最新文章
- vue 封装dialog_element-dialog封装成子组件
- Redis启动多端口,运行多实例(转)
- su: cannot set user id: Resource temporarily unavailable
- insert---插入记录
- bat文件备份MySQL数据库
- 中关村程序员的 996 强制加班与工作效率成正比吗?
- 使用 jQuery 修改 css 中带有 !important 的样式属性
- Restorator 2007 3.70.1729
- 《ShowYou数组代码》第38题:对数组元素进行排序
- 怎么完全卸载赛门铁克_如何卸载symantec
- 市场营销方式详尽客户调查报告:Inbound vs. Outbound
- KVM或openstack虚拟化环境中windows主机忘记登陆密码如何使用pe的方式进行破解
- 首款超声波指纹读取器面世:用声音解锁手机 或用于移动支付
- GoogleAdMob广告 SDK接入(Android)
- 问题(ArcGIS):去除栅格不需要的Value(背景值0)
- 完整的js写的省市级的程序
- Web前端工程师是否真的很难找工作?看这里
- 用微博帐号登录出错了! 对第三方应用进行授权时出现错误,请您联系第三方应用的开发者: 十五发芽或者稍后再试。 错误码:21322 重定向地址不匹配
- opa example
- safari下载文件自动追加exe后缀解决方法
热门文章
- C++预处理命令之文件包含和条件编译
- sklearn之Multiclass 估计器
- 超级硬盘数据恢复软件v2.7.2.6_超级硬盘数据恢复软件的U盘存储卡删除文件的恢复方式...
- 用matlab拟合多元函,MatLab中多元拟合的函数是什么?
- Leecode刷题热题HOT100(12)——整数转罗马数字
- OpenShift 4 - 集群节点日志和API审计日志策略
- OpenShift 4 - 向OpenShift添加新的SSH Key
- OpenShift 4 之Knative(3) - 通过事件触发Serverless服务
- (转)支持Dubbo生态发展,阿里巴巴启动新的开源项目 Nacos
- poll函数_如何理解IO多路复用的三种机制Select,Poll,Epoll?