第十一讲 如何快速分析出CPU的性能瓶颈(2020.6.3)

这一讲干活真是太多了，将之将使用的各种工具串联起来。其实系统出问题之后第一感觉就是感觉就是系统相应变慢了。我们可以使用<> 里作者介绍的USE 方法来做CPU相关的性能分析。

使用率(utilization):cpu 繁忙的时间

饱和度(saturation)：可运行线程排队等待时间

错误(errors): 各种错误

如果能找到错误消息的话那就再不过了，错误提示应该能更直接的看出系统哪里有问题了。如果没有这样的提示的话也不用着急，可以通过观测性能来做进一步的分析。登录到机器第一件要做的事情就是 top 然后按下数字1观察整体的性能指标，然后对top的每一行数据使用其他工具来进一步的分析。

1. load averge(top第一行输出) 相关问题定位

top - 06:46:45 up 3 days, 8:33, 1 user, load average: 0.32, 0.38, 0.54

这里可以看到系统的uptime相关信息，可以将关注点放在load average上，如果load average超过了CPU的核数就说明有进程在在等待了需要去调度执行(也就说明有进程上下文的切换)。这时候就可以通过vmstat 来确认等待队列情况。

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----

r b swpd free buff cache si so bi bo in cs us sy id wa st

0 0 0 7758052 408352 3653420 0 0 2266 145 114 57 27 14 59 0 0

0 0 0 7750744 408352 3661260 0 0 0 0 1414 2906 2 1 97 0 0

0 0 0 7750468 408352 3661100 0 0 0 0 1269 2699 2 1 98 0 0

0 0 0 7750380 408352 3660956 0 0 0 12 1229 2714 2 0 98 0 0

0 0 0 7750884 408352 3660980 0 0 0 0 1141 2395 1 1 98 0 0

可以主要关注 r 列和 cs,us,sys,wa 列，观察

上下文切换是否频繁

cpu 的cs,us,sys,wal的值是否过高

进一步的使用pidsat看下具体是那个进程

Average: UID PID %usr %system %guest %wait %CPU CPU Command

Average: 0 18 0.00 0.50 0.00 0.00 0.50 - ksoftirqd/1

Average: UID PID cswch/s nvcswch/s Command

Average: 0 1 6.44 0.00 systemd

这时候已经定位到具体的进程了，可以用perf 或者strace去进一步分析了。

2. 进程 相关问题定位(top第二行)

Tasks: 369 total, 1 running, 294 sleeping, 0 stopped, 0 zombie

按下H可以切换到thread mode，可以查看到线程级别的统计

这里主要关注 running的进程数，和僵尸进程数 可以使用ps 定位到僵尸进程的父进程

2. CPU 相关问题定位(top第三行)

%Cpu(s): 2.3 us, 0.8 sy, 0.0 ni, 96.8 id, 0.0 wa, 0.0 hi, 0.1 si, 0.0 st

这里就表示CPU主要忙着在干啥

us 高 说明在用户程序上忙(负载不是太高的话是ok的，最希望就是cpu都原来做应用层的事情)

top-----> perf/strace

sys 高 在内核上忙(这个指标高就说明，cpu都忙在内核上了，需要定位)

vmstat--->pidstat--->perf, starce

wa 高 io等待比较高

dstat --->pidstat--->perf,strace

si 高 cpu都在忙这处理软中断

/proc/softirqs --->RX/TX高---->sar------>tcpdump/wireshark