Linux性能优化大杀器—平均负载率详解（鼓励收藏）

前言

我们来了解下系统的性能指标（主要是平均负载率），通过相应的性能测试工具来模拟一些场景，对一些常见的问题进行定位。

平均负载率

什么是平均负载率

平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和
CPU 使用率并没有直接关系。

可运行状态的进程：是指正在使用 CPU 或者正在等待 CPU 的进程，也就是我们常用 ps 命令看到的，处于 R 状态（Running 或
Runnable）的进程。

**不可中断状态的进程 **：正处于内核态关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备的 I/O 响应，也就
是我们在 ps 命令中看到的 D 状态（Uninterruptible Sleep，也称为 Disk Sleep）的进程。

（比如，当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘恢复前，它是不能被其他进程或者中
断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一
致的问题。所以，不可中断状态实际上是系统对进程和硬件设备的一种保护机制。 )

查看系统平均负载

uptime来查看系统负载：

结果解析：

23:13:37 //当前时间

up 440 days //系统运行时间

4 users //正在登录用户数

load average: 0.10, 0.06, 0.05 //依次是过去1分钟、5分钟、15分钟的平均负载。

说明：如果 1 分钟、5 分钟、15 分钟的三个值基本相同，或者相差不大，那就说明系统负载很平稳。
如果 1分钟的值远小于15分钟的值，就说明系统最近1分钟的负载在减少，而过去15分钟内却有很大的负载。
如果 1分钟的值远大于15分钟的值，就说明最近1分钟的负载在增加，这种增加有可能只是临时性的，也有可能还会持续增加下去，所以就需要持续观察。一旦 1分钟的平均负载接近或超过了 CPU 的个数，就意味着系统正在发生过载的问题，这时就得分析调查是哪里导致的问题，并要想办法优化了。

平均负载合理值

平均负载最理想的情况是等于 CPU 个数。所以在评判平均负载时，首先你要知道系统有几个 CPU，这可以通过top 命令或者从文件 /proc/cpuinfo 中读取，比如：

grep 'model name' /proc/cpuinfo | wc -l

举个例子假设我们在一个单 CPU 系统上看到平均负载为 1.88，0.70，6.76，那么说明在过去 1 分钟内，系统有 188% 的超载，而在 15 分钟内，有 676% 的超载，从整体趋势来看，系统的负载在降低。当平均负载高于 CPU 数量 70% 的时候，就应该分析排查负载高的问题了（70% 这个数字并不是绝对的，最推荐的方法）。

平均负载和CPU使用率的关系

我们经常容易把平均负载和 CPU 使用率混淆，来区分一下。
虽然平均负载代表的是活跃进程数，那平均负载高了，不就意味着 CPU 使用率高吗？
我们还是要回到平均负载的含义上来，平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数。所以，它不仅包括了正在使用 CPU 的进程，还包括等待 CPU 和等待 I/O 的进程。
而CPU使用率，是单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应。比如：

CPU 密集型进程，使用大量 CPU 会导致平均负载升高，此时这两者是一致的；
I/O 密集型进程，等待 I/O 也会导致平均负载升高，但 CPU 使用率不一定很高；
大量等待 CPU 的进程调度也会导致平均负载升高，此时的 CPU 使用率也会比较高。

stress工具介绍

stress是一个Linux 系统压力测试工具，我们这里通过异常进程模拟平均负载升高的场景。

参数介绍

sysstat工具介绍

包含了常用的 Linux 性能工具，用来监控和分析系统的性能，我们会用到 mpstat 和 pidstat 两个命令。

mpstat

常用的多核 CPU 性能分析工具;
实时查看每个 CPU 的性能指标以及所有 CPU 的平均指标。

pidstat

常用的进程性能分析工具
实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标

安装sysstat与stress

分别执行如下指令：

yum -y install sysstat

yum install -y epel-releaseyum install stress -y

场景一模拟CPU密集型进程

第一个终端，我们运行stress命令，模拟一个CPU密集型的计算任务：

[root@ebs-62905 lyj]# stress --cpu 1 --timeout 600
stress: info: [3331] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd

第二个终端，运行uptime查看系统平均负载情况，-d参数表示高亮显示变化的区域：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UXdiaQ0g-1642467427242)(https://img.liuyj.top/image-20211010164444387.png)]

可以观察到最近1分钟的平均负载会增加到1.00

第三个终端，运行mpstat指令查看CPU使用率的变化情况：

可以看到其中有一个CPU的使用率（%usr）接近100%，但它的iowait只有0，这说明平均负载的升高正是由于CPU使用率为100%。

接下来我们排查哪个进程导致CPU的使用率是这么高的。

我们使用pidstat来查询，pidstat的参数如下：

# pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ]
# -u：默认的参数，显示各个进程的cpu使用统计
# -r：显示各个进程的内存使用统计
# -d：显示各个进程的IO使用情况
# -p：指定进程号
# -w：显示每个进程的上下文切换情况
# -t：显示选择任务的线程的统计信息外的额外信息

在终端执行pidstat指令查看CPU使用率：

可以看到stress进程的CPU使用率为99.8%。

场景二模拟IO密集型的场景

第一个终端，运行 stress 命令，模拟 I/O 压力：

# --hdd N 产生 N 个进程每个进程执行 write() 和 unlink() 的进程
# --hdd-bytes B 每个 hdd worker 写入 B 字节（默认为1GB）
[root@ebs-62905 lyj]# stress --hdd 1 -t 600 --hdd-bytes 4G
stress: info: [7936] dispatching hogs: 0 cpu, 0 io, 0 vm, 1 hdd

第二个终端是运行uptime查看CPU平均负载情况，-d 参数表示高亮显示变化的区域：

可以看到CPU的平均负载率很高。

第三个终端，运行 mpstat 查看 CPU 使用率的变化情况：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HsisNvMP-1642467427244)(https://img.liuyj.top/image-20211010181153812.png)]

%iowait的值过高，表示硬盘存在I/O瓶颈，I/O操作占用的系统资源较高，%idle值高，表示CPU较空闲。

到底是哪个进程，导致 iowait 这么高呢？我们还是用 pidstat 来查询：

可以看到stress进程占用的CPU较高，系统占有率也比较高，从而可以定位问题。

总结

我们知道了平均负载率的概念，会使用stress及sysstat性能测试工具来查看系统的指标，通过两个具体的案例（CPU密集型及IO密集型）来实战体会系统的指标。

更多精彩内容，欢迎关注我的公众号：【程序员资料站】