CPU load 高占用率低问题的彻底排查
1. 引言
突然观察到服务器 load 过高,可是 CPU 占用率很低。
这也算是一个常见问题了。
那么,如何排查和解决这个问题呢?
2. top 查看 cpu wait
通过 top 命令,可以看到 CPU 的 wait 很高,可以参考:
top 命令详解
2.1. 诊断
- 若 wait 值过高,则说明磁盘 IO 存在瓶颈
- 若 idle 值高,但 load 仍很高则说明内存容量不足
- 若 idle 值持续低于 1,则系统的 CPU 处理能力存在瓶颈
3. iostat 分析 IO 性能
我们通过 iostat 可以分析 IO 性能。
通常通过 -x 参数显示详细信息。
下面是一个示例,执行:
iostat -x -k 3 2
3.1. 参数说明
-x – 显示详细信息
-k – 以 KB 为单位
-m – 以 MB 为单位
3 – 每 3 秒执行一次
2 – 总共执行 2 次
需要注意的是,第1次采样信息与单独执行iostat的效果一样,为从系统开机到当前执行时刻的统计信息,第2次及此后才是当前的实时数据
3.2. 返回信息
返回信息总共包含三部分:
iostat 命令返回信息
选项 | 说明 |
---|---|
第一行 | 最上面指示系统版本、主机名和当前日期 |
avg-cpu | 总体cpu使用情况统计信息,对于多核cpu,这里为所有cpu的平均值 |
Device | 各磁盘设备的IO统计信息 |
3.3. 返回信息 – avg-cpu
avg-cpu中各列参数含义如下:
iostat 返回的 avg-cpu 信息
选项 | 说明 |
---|---|
%user | CPU在用户态执行进程的时间百分比。 |
%nice | CPU在用户态模式下,用于nice操作,所占用CPU总时间的百分比 |
%system | CPU处在内核态执行进程的时间百分比 |
%iowait | CPU用于等待I/O操作占用CPU总时间的百分比 |
%steal | 管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟CPU的百分比 |
%idle | CPU空闲时间百分比 |
3.4. 返回信息 – Device
Device 中各列参数含义如下:
iostat 返回的 Device 信息
选项 | 说明 |
---|---|
rrqm/s | 每秒对该设备的读请求被合并次数,文件系统会对读取同块(block)的请求进行合并 |
wrqm/s | 每秒对该设备的写请求被合并次数 |
r/s | 每秒完成的读次数 |
w/s | 每秒完成的写次数 |
rkB/s | 每秒读数据量(kB为单位) |
wkB/s | 每秒写数据量(kB为单位) |
avgrq-sz | 平均每次IO操作的数据量(扇区数为单位) |
avgqu-sz | 平均等待处理的IO请求队列长度 |
await | 平均每次IO请求等待时间(包括等待时间和处理时间,毫秒为单位) |
svctm | 平均每次IO请求的处理时间(毫秒为单位) |
%util | 采用周期内用于IO操作的时间比率,即IO队列非空的时间比率 |
3.5. 诊断
通过具体的 Device 中的 %util 可以看出具体是那块磁盘负载过大。
4. 通过iotop查找高I/O对应的进程
执行 iotop 命令可以看到每个进程占用的 io 比例:
我们可以找到占用 IO 最大的 TID 即进程 ID。
5. 通过 lsof -p pid 具体文件
SIZE 一列即读写大小,通过其增长我们就可以锁定究竟是哪个文件造成了 IO 过高。
从而可以分析具体的代码来解决这个问题。
6. 微信公众号
欢迎关注微信公众号,以技术为主,涉及历史、人文等多领域的学习与感悟,每周三到七篇推文,全部原创,只有干货没有鸡汤。
7. 参考资料
https://support.zabbix.com/browse/ZBXNEXT-1914。
https://www.jianshu.com/p/cb64232df70c。
https://blog.csdn.net/xusensen/article/details/73080887。
CPU load 高占用率低问题的彻底排查相关推荐
- linux创建云主机内存不足,云主机DC2 Linux系统CPU与内存占用率高导致无法登录
本文档介绍 Linux 云服务器因 CPU 与内存占用率高导致无法登录等问题的排查方法和解决方案. 登录与查看系统负载登录云服务器.通过第三方软件远程登录 Linux 云服务器( Linux 云服务器 ...
- 禁用software reporter tool.exe 解决CPU高占用率的问题
禁用software reporter tool.exe 解决CPU高占用率的问题 参考文章: (1)禁用software reporter tool.exe 解决CPU高占用率的问题 (2)http ...
- CPU load高但CPU usage低问题排查
讲故事 最近服务总是出现 cpu load高的告警,且告警经常还出现在低峰期的凌晨,所以很明显不是用户流量导致的负载高,但是 cpu buzy却很低.查看内存使用情况:mem.memused 接近10 ...
- vMix解码16路FULL NDI时保持流畅和低带宽的使用方法和技巧(相当于16路采集卡同时工作,同步性和流畅度稳定,带宽占用率低,CPU和GPU负担小)
vMix解码16路FULL NDI时保持流畅和低带宽的使用方法和技巧(相当于16路采集卡同时工作,同步性和流畅度稳定,带宽占用率低,CPU和GPU负担小) 很多朋友对NDI不了解,以为FULL NDI ...
- 衡量cpu使用情况 - 占用率和负载
说明 在对程序进行性能优化过程中,我体会到:正确的衡量cpu的使用情况(各种指标),是进行代码优化的前提条件:CPU是计算机的大脑,所有代码都是由CPU运行,不管是任何因素导致的性能问题,即使是资源不 ...
- linux ps内存占用率,linux ps命令,查看某进程cpu和内存占用率情况, linux ps命令,查看进程cpu和内存占用率排序。 不指定...
背景:有时需要单看某个进程的CPU及占用情况,有时需要看整体进程的一个占用情况. 一. linux ps命令,查看某进程cpu和内存占用率情况 [root@test vhost]# ps aux US ...
- linux 用户使用率的限制,linux中限制CPU和内存占用率方法
查看cpu占用 在命令行中输入 "top" 即可启动 top top 的全屏对话模式可分为3部分:系统信息栏.命令输入栏.进程列表栏. 使用top查看系统负荷 top命令可以动态监 ...
- linux系统限制内存使用率,linux中限制CPU和内存占用率方法
在linux中CPU与内存占用率限制的方法有几种我这里整理常用的两种,希望文章对各位同学会有所帮助哦. 查看cpu占用 在命令行中输入 "top" 即可启动 top top 的全屏 ...
- 树莓派如何查看CPU和内存占用率
命令行里输入: htop 图形显示,4个CPU内核的占用率和内存使用率一目了然,各个进程也有详细参数显示,还可以鼠标点击排序: CPU温度查看: 命令行里输入:vcgencmd measure_tem ...
最新文章
- 马斯克的星际飞船又炸了!回收时发动机重启失败,「横」着砸向地面
- 模板资源管理器的使用
- UA SIE545 优化理论基础9 优先与分治策略1 文件的最优存储顺序
- Oracle从零开始04——SQL语句03——单行函数
- 一道面试题引发的关于程序设计的想法
- centos升级之vim vim8.0安装
- Qt 解决 #error This file requires compiler and library support for the ISO C++ 2011 standard
- qml c++函数 slot_浅析Qt(C++),QML与HTML之间的交互
- 安装openfst 和 threx的经过
- Hive数据倾斜解决方法总结
- [Swift]LeetCode862. 和至少为 K 的最短子数组 | Shortest Subarray with Sum at Least K
- javascript之querySelector和querySelectorAll
- python如何读二进制文件_Python如何读写二进制文件
- 将Keras模型导出为SavedModel模型
- 【计算机网络】【应用层-5】
- 新高考改革之下,有孚网络助力教育信息化进程
- 掌握计算机基础知识的必要性,浅谈高校开展面向学科门类的计算机基础课程的必要性...
- 基于STM32与GSM模块发送中英文短信
- python中复数表达形式_在Python中实现复数比较?
- python 占位符(百分号方式、Format 方式)
热门文章
- 微信小程序实战篇-购物车
- Cisco官方CCNA在线考试模拟(转)
- Eclipse中Coverage功能的使用说明
- Arduino小游戏
- 继 Linux 之父之后,独立开发者 Jonathan Blow 再次炮轰 C++ 是可怕的语言
- 【图像增强】基于 hessian特征和Frangi滤波实现血管图像增强附matlab代码
- 开船后做cqc_用Simulaqron和CQC模拟分布式量子隐形传态
- 【Python】天天向上的力量
- “神仙打架”的预制菜赛道,国联水产携手盒马能否“C”位出道?
- Memento 备忘录