利用stress-ng压测来理解linux平均负载

load简介

应用容器的linux监控面板load是经常关注的性能参数，或者在机器上执行uptime也能直观的看到平均负载情况：
右边三个参数从左→右依次是1min、5min、15min的平均负载，所谓平均负载是指单位时间内的平均活跃进程数，和cpu使用率不是同一个概念，平均活跃进程数包括两个状态的进程数：可运行状态、不可中断状态。其中可运行状态的进程指的是正在使用cpu的进程或者等待cpu的进程，对应ps命令中的R（running+runnable）状态；不可中断状态的进程指的是处于内核关键流程且不可被中断的进程，对应ps命令中的D（disk sleep）状态，比如常见的IO响应。

一般理想化的负载最优值是平均每个cpu 70%，线上应用如果长期超过70%，还是建议扩容或者优化。执行grep 'model name' /proc/cpuinfo|wc -l可看机器有多少个逻辑cpu。
下面来使用stress-ng分别模拟高cpu、高iowait下的load上涨场景，需要安装两个包：sysstat、stress-ng。
ps：不建议安装stress，stress -i是使用sync()系统调用，刷新缓冲区内存到系统磁盘中来模拟io压力，对于刚装的虚拟机、固态磁盘等缓冲区比较小的情况不适用，无法产生明显io压力，stress-ng兼容stress，对于固态，可用stress-ng -d来模拟io压力。
stress-ng源码下载地址
sysstat源码下载地址
好了，下面开始动手吧：笔者使用的是centos7.9，root用户,4c1g

情景1：cpu使用率高

打开3个窗口，1个窗口生成2个worker循环调用sqrt()运行600s:

[root@localhost ~]# stress-ng -c 2 --timeout 600

第2个窗口观察load上涨情况

[root@localhost ~]# watch -d uptime

第3个窗口观察cpu负载情况

[root@localhost ~]# mpstat -P ALL 5

如上图，过个1分钟左右，就可以看到一分钟内的load average有明显上升，有2个用户cpu使用率100%，而iowait仍是0。此时退出窗口3的进程，执行pidstat -u 5 1可以看到下图中的情况：有两个stress-ng的command使用了99.8%的cpu。

情景2：iowait高

执行stress-ng之前，先等load恢复原样：

使用stress-ng生成2个worker 进行hdd写测试，非hdd的也可以使用-i 调用sync()来产生io压力。原来的watch -d uptime窗口可不关

[root@localhost ~]# stress-ng -d 2 --timeout 600

1分钟后，执行mpstat -P ALL 5可查看到iowait使用率有明显上涨，idle下降，用户cpu、系统cpu有些许上涨，说明load的上涨主要是因为iowait上涨了。

再执行pidstat -d 5 1查看io使用情况，如下图，可以看到stress-ng命令占用io明显。

情景3：大量进程

当运行进程数远大于cpu核数时，cpu就会超载，出现进程等待cpu的情况，笔者是4c的机器，这里使用20个cpu，模拟严重过载。
等待load恢复：

[root@localhost ~]# stress-ng -c 16 --timeout 600

1~2分钟后，查看load是这样的：

使用pidstat -u 5 1，发现16个进程在争抢cpu，且每个进程的%wait列很高，即进程等待cpu的时间高达74%，这严重超出了cpu的计算能力，最终导致cpu过载。