06 | 案例篇:系统的 CPU 使用率很高,但为啥却找不到高 CPU 的应用?
案例分析
你的准备
- 机器配置:2 CPU,8GB 内存
- 预先安装 docker、sysstat、perf、ab 等工具,如 apt install docker.io sysstat linux-tools-common apache2-utils
操作和分析
$ docker run --name nginx -p 10000:80 -itd feisky/nginx:sp
$ docker run --name phpfpm -itd --network container:nginx feisky/php-fpm:sp
# 192.168.0.10 是第一台虚拟机的 IP 地址
$ curl http://192.168.0.10:10000/
It works!
# 并发 100 个请求测试 Nginx 性能,总共测试 1000 个请求
$ ab -c 100 -n 1000 http://192.168.0.10:10000/
This is ApacheBench, Version 2.3 <$Revision: 1706008 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd,
...
Requests per second: 87.86 [#/sec] (mean)
Time per request: 1138.229 [ms] (mean)
...
$ ab -c 5 -t 600 http://192.168.0.10:10000/
$ top
...
%Cpu(s): 80.8 us, 15.1 sy, 0.0 ni, 2.8 id, 0.0 wa, 0.0 hi, 1.3 si, 0.0 st
...PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND6882 root 20 0 8456 5052 3884 S 2.7 0.1 0:04.78 docker-containe6947 systemd+ 20 0 33104 3716 2340 S 2.7 0.0 0:04.92 nginx7494 daemon 20 0 336696 15012 7332 S 2.0 0.2 0:03.55 php-fpm7495 daemon 20 0 336696 15160 7480 S 2.0 0.2 0:03.55 php-fpm
10547 daemon 20 0 336696 16200 8520 S 2.0 0.2 0:03.13 php-fpm
10155 daemon 20 0 336696 16200 8520 S 1.7 0.2 0:03.12 php-fpm
10552 daemon 20 0 336696 16200 8520 S 1.7 0.2 0:03.12 php-fpm
15006 root 20 0 1168608 66264 37536 S 1.0 0.8 9:39.51 dockerd4323 root 20 0 0 0 0 I 0.3 0.0 0:00.87 kworker/u4:1
...
- docker-containerd 进程是用来运行容器的,2.7% 的 CPU 使用率看起来正常;
- Nginx 和 php-fpm 是运行 Web 服务的,它们会占用一些 CPU 也不意外,并且 2% 的 CPU 使用率也不算高;
- 再往下看,后面的进程呢,只有 0.3% 的 CPU 使用率,看起来不太像会导致用户 CPU 使用率达到 80%。
# 间隔 1 秒输出一组数据(按 Ctrl+C 结束)
$ pidstat 1
...
04:36:24 UID PID %usr %system %guest %wait %CPU CPU Command
04:36:25 0 6882 1.00 3.00 0.00 0.00 4.00 0 docker-containe
04:36:25 101 6947 1.00 2.00 0.00 1.00 3.00 1 nginx
04:36:25 1 14834 1.00 1.00 0.00 1.00 2.00 0 php-fpm
04:36:25 1 14835 1.00 1.00 0.00 1.00 2.00 0 php-fpm
04:36:25 1 14845 0.00 2.00 0.00 2.00 2.00 1 php-fpm
04:36:25 1 14855 0.00 1.00 0.00 1.00 1.00 1 php-fpm
04:36:25 1 14857 1.00 2.00 0.00 1.00 3.00 0 php-fpm
04:36:25 0 15006 0.00 1.00 0.00 0.00 1.00 0 dockerd
04:36:25 0 15801 0.00 1.00 0.00 0.00 1.00 1 pidstat
04:36:25 1 17084 1.00 0.00 0.00 2.00 1.00 0 stress
04:36:25 0 31116 0.00 1.00 0.00 0.00 1.00 0 atopacctd
...
$ top
top - 04:58:24 up 14 days, 15:47, 1 user, load average: 3.39, 3.82, 2.74
Tasks: 149 total, 6 running, 93 sleeping, 0 stopped, 0 zombie
%Cpu(s): 77.7 us, 19.3 sy, 0.0 ni, 2.0 id, 0.0 wa, 0.0 hi, 1.0 si, 0.0 st
KiB Mem : 8169348 total, 2543916 free, 457976 used, 5167456 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 7363908 avail MemPID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND6947 systemd+ 20 0 33104 3764 2340 S 4.0 0.0 0:32.69 nginx6882 root 20 0 12108 8360 3884 S 2.0 0.1 0:31.40 docker-containe
15465 daemon 20 0 336696 15256 7576 S 2.0 0.2 0:00.62 php-fpm
15466 daemon 20 0 336696 15196 7516 S 2.0 0.2 0:00.62 php-fpm
15489 daemon 20 0 336696 16200 8520 S 2.0 0.2 0:00.62 php-fpm6948 systemd+ 20 0 33104 3764 2340 S 1.0 0.0 0:00.95 nginx
15006 root 20 0 1168608 65632 37536 S 1.0 0.8 9:51.09 dockerd
15476 daemon 20 0 336696 16200 8520 S 1.0 0.2 0:00.61 php-fpm
15477 daemon 20 0 336696 16200 8520 S 1.0 0.2 0:00.61 php-fpm
24340 daemon 20 0 8184 1616 536 R 1.0 0.0 0:00.01 stress
24342 daemon 20 0 8196 1580 492 R 1.0 0.0 0:00.01 stress
24344 daemon 20 0 8188 1056 492 R 1.0 0.0 0:00.01 stress
24347 daemon 20 0 8184 1356 540 R 1.0 0.0 0:00.01 stress
...
$ pidstat -p 2434416:14:55 UID PID %usr %system %guest %wait %CPU CPU Command
# 从所有进程中查找 PID 是 24344 的进程
$ ps aux | grep 24344
root 9628 0.0 0.0 14856 1096 pts/0 S+ 16:15 0:00 grep --color=auto 24344
$ top
...
%Cpu(s): 80.9 us, 14.9 sy, 0.0 ni, 2.8 id, 0.0 wa, 0.0 hi, 1.3 si, 0.0 st
...PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND6882 root 20 0 12108 8360 3884 S 2.7 0.1 0:45.63 docker-containe6947 systemd+ 20 0 33104 3764 2340 R 2.7 0.0 0:47.79 nginx3865 daemon 20 0 336696 15056 7376 S 2.0 0.2 0:00.15 php-fpm6779 daemon 20 0 8184 1112 556 R 0.3 0.0 0:00.01 stress
...
- 第一个原因,进程在不停地崩溃重启,比如因为段错误、配置错误等等,这时,进程在退出后可能又被监控系统自动重启了。
- 第二个原因,这些进程都是短时进程,也就是在其他应用内部通过 exec 调用的外面命令。这些命令一般都只运行很短的时间就会结束,你很难用 top 这种间隔时间比较长的工具发现(上面的案例,我们碰巧发现了)。
$ pstree | grep stress|-docker-containe-+-php-fpm-+-php-fpm---sh---stress| |-3*[php-fpm---sh---stress---stress]
# 拷贝源码到本地
$ docker cp phpfpm:/app .# grep 查找看看是不是有代码在调用 stress 命令
$ grep stress -r app
app/index.php:// fake I/O with stress (via write()/unlink()).
app/index.php:$result = exec("/usr/local/bin/stress -t 1 -d 1 2>&1", $output, $status);
$ cat app/index.php
<?php
// fake I/O with stress (via write()/unlink()).
$result = exec("/usr/local/bin/stress -t 1 -d 1 2>&1", $output, $status);
if (isset($_GET["verbose"]) && $_GET["verbose"]==1 && $status != 0) {echo "Server internal error: ";print_r($output);
} else {echo "It works!";
}
?>
$ curl http://192.168.0.10:10000?verbose=1
Server internal error: Array
([0] => stress: info: [19607] dispatching hogs: 0 cpu, 0 io, 0 vm, 1 hdd[1] => stress: FAIL: [19608] (563) mkstemp failed: Permission denied[2] => stress: FAIL: [19607] (394) <-- worker 19608 returned error 1[3] => stress: WARN: [19607] (396) now reaping child worker processes[4] => stress: FAIL: [19607] (400) kill error: No such process[5] => stress: FAIL: [19607] (451) failed run completed in 0s
)
# 记录性能事件,等待大约 15 秒后按 Ctrl+C 退出
$ perf record -g# 查看报告
$ perf report
$ docker rm -f nginx phpfpm
execsnoop
# 按 Ctrl+C 结束
$ execsnoop
PCOMM PID PPID RET ARGS
sh 30394 30393 0
stress 30396 30394 0 /usr/local/bin/stress -t 1 -d 1
sh 30398 30393 0
stress 30399 30398 0 /usr/local/bin/stress -t 1 -d 1
sh 30402 30400 0
stress 30403 30402 0 /usr/local/bin/stress -t 1 -d 1
sh 30405 30393 0
stress 30407 30405 0 /usr/local/bin/stress -t 1 -d 1
...
小结
06 | 案例篇:系统的 CPU 使用率很高,但为啥却找不到高 CPU 的应用?相关推荐
- 4 系统的 CPU 使用率很高,但为啥却找不到高 CPU的应用?
上一节讲了 CPU 使用率是什么,并通过一个案例教你使用 top.vmstat.pidstat 等工具,排查高 CPU 使用率的进程,然后再使用 perf top 工具,定位应用内部函数的问题.不过就 ...
- 物理内存是什么是计算机的显卡内存吗,物理内存使用率过高_任务管理器里的物理内存是什么,CPU使用率很低,但......
电脑物理内存使用率很高怎么回事 这种情况说明主机内存过小或者系统没有经过优化. 一.首先从硬件入手,添加内存是最直接的解决方法,如果内存低于4G那么还是建议添加内存,这样才能根本解决问题. 二.排除内 ...
- Windows上erl.exe的CPU使用率很高的问题【未解决】
Windows上erl.exe的CPU使用率很高的问题[未解决] 参考文章: (1)Windows上erl.exe的CPU使用率很高的问题[未解决] (2)https://www.cnblogs.co ...
- linux中负载值为多少正常_Linux中CPU负载和CPU使用率表示的含意,多大负载算高...
Linux中CPU负载和CPU使用率表示的含意,多大负载算高 收到zabbix 警报信息,发现其中一台服务器CPU负载过重 报警值为4 一.警报信息的三个参数到底是什么意思? 9.73.10.67.1 ...
- 电脑不启动任务管理器时cpu使用率很高,短时间内不使用电脑时启动为什么能耗可下降到15%以下?
短时间不用电脑时,启用电脑的"睡眠"模式,能耗可下降到50%以下.关掉不用的程序和音箱.打印机等外-围设备:少让硬盘.软盘.光盘同时工作,适当降低显示器的亮度. 一些杀毒软件会对网 ...
- cpu使用率(cpu使用率很低最大频率很高)
CPU使用率占多少算是正常 先这样说吧,如果你玩的是那种对显卡要求不高的游戏,而且你在网吧用的机器的显卡足够强大的话,你就是4开5开CPU占用也不会很多的 但是你如果看的个人网页就不一样了,现在很多网 ...
- Java 占用CPU使用率很高的分析
前几天在测试服务器上发现Java进程的CPU使用率暴高,为了分析解决该问题,把过程记录如下: 1. 先找到Java的进程号 Linux下: 用top命令查看所有进程,可以明显看到Java的,因为CPU ...
- 虚拟机CPU使用率很高,主机的CPU很低
已经将虚拟机CPU和内存使用率调到最大,在虚拟机中运行程序,虚拟机中CPU使用率达到80%左右,而主机CPU使用率只有20%左右 求解,有没有什么办法可以提高主机CPU使用率
- 查看cpu使用率_腾讯游戏开发工程师:Linux 机器 CPU 毛刺问题排查
作者:jasonzxpan,腾讯 IEG 运营开发工程师 本文排查一个Linux 机器 CPU 毛刺问题,排查过程中不变更进程状态.也不会影响线上服务,最后还对 CPU 毛刺带来的风险进行了分析和验证 ...
最新文章
- Hibernate的延迟检索和立即检索
- bootstrap-关闭按钮
- 高考特长计算机2017,2017年北京理工大学计算机学院申请竞赛获奖与特长生推荐.PDF...
- LOJ 2546 「JSOI2018」潜入行动——树形DP
- Java 获取linux根目录下的文件夹_Windows支持直接访问Linux子系统文件:你的下一台Linux何必是Linux...
- [转]ubuntu系统瘦身-清理系统垃圾文件
- mysql 按日期查询
- eclipse 主题设置
- RealityCapture照片建模
- Java项目从开发到部署生产完整流程梳理
- 免费CDN jsdelivr 加速网站
- openresty实现隧道代理
- core+Fleck+redis
- 网络维护工程师的要求是什么?
- node js+sql 后端分页查询效率越来越低解决方案
- Java匿名内部类的用法(简单教学)
- eth以太坊数据块-交易收据树和日志
- Object-C基础之初始化方法(init)
- 译文:身未动,心已知
- Android Study之自定义View进阶路:掌握绘制基本图形(一)
热门文章
- 验证码加减乘PHP,使用php实现加减法验证码
- html的混合标记,HTML XPath:提取与多个标签混合的文本?
- window 程序报错 自动重启_好程序员web前端教程之详解JavaScript严格模式
- Ubuntu-Python2.7安装 scipy,numpy,matplotlib
- 肝!Python 网络编程
- Github 移动端上架!把世界最大同性交友社区装进口袋
- 2020最值得学习的12款python-web开发框架大盘点
- 航空购票系统源码java_航空售票系统 - WEB源码|JSP源码/Java|源代码 - 源码中国
- 支付二维码php能实现吗_(实用篇)微信支付扫码支付php版
- Centos7-firewall-cmd