linux利用内存加快读盘速度,Linux性能优化从入门到实战:10 内存篇:如何利用Buffer和Cache优化程序的运行效率?...
缓存命中率
缓存命中率,是指直接通过缓存获取数据的请求次数,占所有数据请求次数的百分比,可以衡量缓存使用的好坏。命中率越高,表示使用缓存带来的收益越高,应用程序的性能也就越好。
实际上,缓存是现在所有高并发系统必需的核心模块,主要作用就是把经常访问的数据(也就是热点数据),提前读入到内存中。这样,下次访问时就可以直接从内存读取数据,而不需要经过硬盘,从而加快应用程序的响应速度。
cachestat 提供了整个操作系统缓存的读写命中情况。
cachetop 提供了每个进程的缓存命中情况。
这两个工具都是 bcc (https://github.com/iovisor/bcc) 软件包的一部分,它们基于 Linux 内核的 eBPF(extended Berkeley Packet Filters)机制,来跟踪内核中管理的缓存,并输出缓存的使用和命中情况。
$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 4052245BD4284CDD
$ echo "deb https://repo.iovisor.org/apt/xenial xenial main" | sudo tee /etc/apt/sources.list.d/iovisor.list
$ sudo apt-get update
$ sudo apt-get install -y bcc-tools libbcc-examples linux-headers-$(uname -r)
# 注意:bcc-tools 需要内核版本为 4.1 或者更新的版本,
# 如果你用的是 CentOS,那就需要手动升级内核版本后再安装(https://github.com/iovisor/bcc/issues/462)
# 所有工具就都安装到 /usr/share/bcc/tools 这个目录中
$ export PATH=$PATH:/usr/share/bcc/tools
cachestat 以 1 秒的时间间隔,输出了 3 组缓存统计数据:
$ cachestat 1 3
TOTAL MISSES HITS DIRTIES BUFFERS_MB CACHED_MB
2 0 2 1 17 279
2 0 2 1 17 279
2 0 2 1 17 279
# TOTAL ,表示总的 I/O 次数;
# MISSES ,表示缓存未命中的次数;
# HITS ,表示缓存命中的次数;
# DIRTIES, 表示新增到缓存中的脏页数;
# BUFFERS_MB 表示 Buffers 的大小,以 MB 为单位;
# CACHED_MB 表示 Cache 的大小,以 MB 为单位。
cachetop 的运行界面:
$ cachetop
11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending
PID UID CMD HITS MISSES DIRTIES READ_HIT% WRITE_HIT%
13029 root python 1 0 0 100.0% 0.0%
# HITS ,间隔时间内的缓存命中次数
# MISSES ,间隔时间内的未命中次数
# DIRTIES ,新增到缓存中的脏页数
# READ_HIT / WRITE_HIT ,读和写的缓存命中率
指定文件的缓存大小
除了缓存的命中率外,还有一个指标就是指定文件在内存中的缓存大小。
pcstat (https://github.com/tobert/pcstat) 查看文件在内存中的缓存大小以及缓存比例。
$ export GOPATH=~/go
$ export PATH=~/go/bin:$PATH
$ go get golang.org/x/sys/unix
$ go get github.com/tobert/pcstat/pcstat
$ pcstat /bin/ls
+---------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|---------+----------------+------------+-----------+---------|
| /bin/ls | 133792 | 33 | 0 | 000.000 |
+---------+----------------+------------+-----------+---------+
# Cached 就是 /bin/ls 在缓存中的大小,而 Percent 则是缓存的百分比。
# 你看到它们都是 0,这说明 /bin/ls 并不在缓存中。
$ ls
$ pcstat /bin/ls
+---------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|---------+----------------+------------+-----------+---------|
| /bin/ls | 133792 | 33 | 33 | 100.000 |
+---------+----------------+------------+-----------+---------+
案例一
dd 作为一个磁盘和文件的拷贝工具,经常被拿来测试磁盘或者文件系统的读写性能。
# 生成一个 512MB 的临时文件
$ dd if=/dev/sda1 of=file bs=1M count=512
# 清理缓存
$ echo 3 > /proc/sys/vm/drop_caches
# 确认刚刚生成的文件不在缓存中
$ pcstat file
+-------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|-------+----------------+------------+-----------+---------|
| file | 536870912 | 131072 | 0 | 000.000 |
+-------+----------------+------------+-----------+---------+
实验检测缓存对文件读取性能的影响:
# 第一个 terminal 中每隔 5 秒刷新一次数据
$ cachetop 5
# 第一个 terminal 中运行 dd 命令测试文件的读取速度
$ dd if=file of=/dev/null bs=1M
512+0 records in
512+0 records out
536870912 bytes (537 MB, 512 MiB) copied, 16.0509 s, 33.4 MB/s
# 第一个 terminal 输出
PID UID CMD HITS MISSES DIRTIES READ_HIT% WRITE_HIT%
\.\.\.
3264 root dd 37077 37330 0 49.8% 50.2%
这个文件的读性能是 33.4 MB/s。由于在 dd 命令运行前我们已经清理了缓存,所以 dd 命令读取数据时,肯定要通过文件系统从磁盘中读取。并且 cachetop 的结果可以发现,并不是所有的读都落到了磁盘上,事实上读请求的缓存命中率只有 50% 。
继续尝试相同的测试命令,系统缓存可以大大提高文件读取的性能。
$ dd if=file of=/dev/null bs=1M
512+0 records in
512+0 records out
536870912 bytes (537 MB, 512 MiB) copied, 0.118415 s, 4.5 GB/s
# 第一个 terminal 输出
10:45:22 Buffers MB: 4 / Cached MB: 719 / Sort: HITS / Order: ascending
PID UID CMD HITS MISSES DIRTIES READ_HIT% WRITE_HIT%
\.\.\.
32642 root dd 131637 0 0 100.0% 0.0%
$ pcstat file
+-------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|-------+----------------+------------+-----------+---------|
| file | 536870912 | 131072 | 131072 | 100.000 |
+-------+----------------+------------+-----------+---------+
特别提醒:但同时也要注意,如果我们把 dd 当成测试文件系统性能的工具,由于缓存的存在,就会导致测试结果严重失真。
案例二
文件读写的案例,每秒从磁盘分区 /dev/sda1 中读取 32MB 的数据,并打印出读取数据花费的时间。
# 第一个 terminal 每隔 5 秒刷新一次数据
$ cachetop 5
# 第二个 terminal
$ docker run --privileged --name=app -itd feisky/app:io-direct
$ docker logs app
Reading data from disk /dev/sdb1 with buffer size 33554432
Time used: 0.929935 s to read 33554432 bytes
# 回到第一个 terminal
16:39:18 Buffers MB: 73 / Cached MB: 281 / Sort: HITS / Order: ascending
PID UID CMD HITS MISSES DIRTIES READ_HIT% WRITE_HIT%
21881 root app 1024 0 0 100.0% 0.0%
实验结果是,每读取 32 MB 的数据,就需要花 0.9 秒,第一反应就是,太慢了。并且 1024 次缓存全部命中,读的命中率是 100%,看起来全部的读请求都经过了系统缓存。但是问题又来了,如果真的都是缓存 I/O,读取速度不应该这么慢。
每秒实际读取的数据大小:HITS 代表缓存的命中次数,每次命中能读取一页数据(内存以页为单位进行管理),每个页的大小是 4KB,在 5 秒的时间间隔里,命中的缓存为 1024*4K/1024 = 4MB,再除以 5 秒,可以得到每秒读的缓存是 0.8MB,显然跟案例应用的 32 MB/s 相差太多。
这个案例估计没有充分利用系统缓存,如果为系统调用设置直接 I/O 的标志,就可以绕过系统缓存。并且直接从磁盘读写的速度,自然远慢于对缓存的读写。
通过观察程序的系统调用,可以了解是否用了直接 I/O,工具是 strace。
# strace -p $(pgrep app)
strace: Process 4988 attached
restart_syscall() = 0
openat(AT_FDCWD, "/dev/sdb1", O_RDONLY|O_DIRECT) = 4
mmap(NULL, 33558528, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f448d240000
read(4, "8vq\213\314\264u\373\4\336K\224\25@\371\1\252\2\262\252q\221\n0\30\225bD\252\266@J"\.\.\., 33554432) = 33554432
write(1, "Time used: 0.948897 s to read 33"\.\.\., 45) = 45
close(4) = 0
删除 O_DIRECT 标志后,性能得到提高。每次只需要 0.03 秒,就可以读取 32MB 数据,明显比之前的 0.9 秒快多了。所以,这次应该用了系统缓存。
$ docker logs app
Reading data from disk /dev/sdb1 with buffer size 33554432
Time used: 0.037342 s s to read 33554432 bytes
Time used: 0.029676 s to read 33554432 bytes
观察 cachetop 的输出:
16:40:08 Buffers MB: 73 / Cached MB: 281 / Sort: HITS / Order: ascending
PID UID CMD HITS MISSES DIRTIES READ_HIT% WRITE_HIT%
22106 root app 40960 0 0 100.0% 0.0%
结果:读的命中率还是 100%,HITS (即命中数)却变成了 40960,同样的方法计算一下,换算成每秒字节数正好是 32 MB(即 40960*4k/5/1024=32M)。
这个案例说明,在进行 I/O 操作时,充分利用系统缓存可以极大地提升性能。 但在观察缓存命中率时,还要注意结合应用程序实际的 I/O 大小,综合分析缓存的使用情况。
案例的最后,再回到开始的问题,为什么优化前,通过 cachetop 只能看到很少一部分数据的全部命中,而没有观察到大量数据的未命中情况呢?这是因为,cachetop 工具并不把直接 I/O 算进来。这也又一次说明了,了解工具原理的重要。
总结
Buffers 和 Cache 可以极大提升系统的 I/O 性能。通常,我们用缓存命中率,来衡量缓存的使用效率。命中率越高,表示缓存被利用得越充分,应用程序的性能也就越好。
你可以用 cachestat 和 cachetop 这两个工具,观察系统和进程的缓存命中情况。其中,
cachestat 提供了整个系统缓存的读写命中情况。
cachetop 提供了每个进程的缓存命中情况。
不过要注意,Buffers 和 Cache 都是操作系统来管理的,应用程序并不能直接控制这些缓存的内容和生命周期。所以,在应用程序开发中,一般要用专门的缓存组件,来进一步提升性能。比如,程序内部可以使用堆或者栈明确声明内存空间,来存储需要缓存的数据。再或者,使用 Redis 这类外部缓存服务,优化数据的访问效率。
linux利用内存加快读盘速度,Linux性能优化从入门到实战:10 内存篇:如何利用Buffer和Cache优化程序的运行效率?...相关推荐
- linux系统怎么访问u盘文件系统,linux如何挂载U盘和文件系统
挂u盘之前,运行命令cat /proc/partitions,看看现在系统中有哪些分区.插上u盘以后,再次运行上述命令,看看多出来什么分区(通常是sda1或者 sdb1). 1.插入U盘 2.输入 f ...
- u盘linux系统安装文件,使用U盘安装LINUX系统
安装前的准备 检查配置 Linux系统对电脑配置要求较低,主要说的是Linux内核运行要求较低,但是Linux Deepin作为桌面版本,最新的12.12.1版本采Linux Deepin 自行开发的 ...
- 制作u盘启动linux安装教程,制作u盘启动linux安装教程
制作u盘启动linux安装教程 [2021-02-14 17:02:30] 简介: 服务器 Linux或者OS X系统中,使用"dd"命令可以直接在终端命令行模式下,制作ISO镜 ...
- linux系统怎么访问u盘文件系统,linux如何挂载U盘及文件系统(或需要用到的).doc
linux如何挂载U盘及文件系统(或需要用到的) 把U盘插到PC机上之后,利用fdisk -l命令看看U盘在linux的盘符.然后利用mount命令,将U盘(在linux下为设备文件)挂载到/tmp( ...
- u盘装linux运行慢,从U盘安装Linux的一点心得体会
前些天下载了一个UBUNTU8.04,一个Fedora9两个linux的安装镜像.不过手头上没有DVD刻录光驱,只有一个2G的U盘,主机bios 可以设置从usb启动.于是就想从U盘启动安装linux ...
- 用 u盘装linux系统怎么安装,怎么用U盘安装Linux系统_用U盘安装Linux系统的另类技巧 - 软件教程 - 格子啦...
Windows系统在操作系统中占据着主流的位置,很多用户也都已经习惯了Windows系列的操作界面,但是每天面对着同样的操作界面也会很厌烦,所以不妨来为你的电脑换个不一样的操作系统,尝试一下不一样的操 ...
- u盘安装linux怎么样,怎么用U盘安装Linux
原标题:怎么用U盘安装Linux 怎么用U盘来安装Linux?没那么简单,也没大家想的那么难,今天荣新教育来给大家简单的介绍下到底该如何进行操作. Linux也有不同的版别,尽管各自都有各自的利益,但 ...
- 雨林木风linux如何安装教程,u盘安装linux图解教程m2硬盘怎么装win7系统
重启之后正常,过一段时间又自动关机(4) 使用屏幕保护装置来保护屏幕并延长其使用周期. 显卡规格方面,微星GTX 1050Ti GAMING X 4G拥有4G DDR5显存以及128Bit位宽,而核心 ...
- win10安装linux系统视频播放器,u盘安装linux视频mac制作win10安装u盘
5. 用柔软的湿布清除打印机内部灰尘.污迹.墨水渍和碎纸屑,防止损坏.其次,用万用表检查外部电压是否符合要求,雨林木风win8系统,电压过高或过低都可能引起主机电源发生过压或欠压电路的自动停机保护 飞 ...
最新文章
- element UI el-autocomplete 带输入建议的输入框
- [WPF]WPF中材质制作——图片和矢量图之争
- docker 进入容器命令_Docker容器常用命令分享,赶紧收藏
- php 在线人数 mysql_PHP+MYSQL实例:编写网站在线人数的程序代码
- php实现栏目三种类型,WordPress后台edit-tags.php里无限栏目分类实现
- 天上地下,马斯克和贝佐斯终有一战?
- SSIS连接-左外连接
- 26留数及其应用(二)
- java蘑菇岛种子_我的世界:Java版玩家笑开了怀,4个地图种子,2个内陆蘑菇岛...
- DXL之通过程序修改Domino的设计
- SQL Server 数据库之索引
- 计算机网络学习日记——网络层
- 简单图像灰度化处理python代码
- [附源码]java毕业设计景区门票系统
- 电脑检测工具eve_检测电脑硬件的软件(系统硬件检测工具)
- java 兔子问题_Java算法之“兔子问题”
- 洛谷P5238 整数校验器【三月月赛】
- Ubuntu 设置固定 IP 最简单的方法!
- 2021高考语文作文成绩查询,2021高考语文作文已出炉,撒贝宁押题太准了,你有想写的冲动吗...
- ps,excel,word的使用