本文转载 线上应用故障排查之一：高CPU占用 DBA+社群（dbaplus）丁启良

1. 应用程序占用资源高问题

目前大部分应用程序采用的是JAVA语言开发，在产品上线使用一段时间后，经常会出现某个JAVA程序占用的CPU，内存过高，而且几乎从不释放，导致系统卡顿，用户使用变慢，如果要恢复，则必须杀掉该进程或重启该服务，然后进行此操作时，必定会导致业务中断。

程序主要由代码组成，优化则需要知道是哪段代码占用资源，并且一个应用占用CPU很高，除了确实是计算密集型应用之外，通常原因都是出现了死循环，所以通过优化代码来降低应用程序的资源消耗或者在应用的使用过程中减少死循环则必不可少。

2. 问题分析

2.1. CPU过高分析

1）使用TOP命令查看CPU、内存使用状态可以发现CPU占用主要分为两部分，一部分为系统内核空间占用CPU百分比，一部分为用户空间占用CPU百分比。其中CPU状态中标示id的为空闲CPU百分比。当空闲CPU百分比越低，说明CPU占用率越高。

2）初步分析可以发现其中主要占用CPU的进程为java子进程jerrySsh服务（用户访问资源使用的监听服务），在用户量不大的情况下，CPU消耗资源很大。根据研发反馈字符网关设定的最大访问量可达到500/台，目前字符网关的资源使用现状无法满足设定的要求。

● 分析手段

目前针对Linux下java进程占用CPU高的分析手段主要为使用linux命令查出高CPU使用的进程，前分析其是由于进程原因还是系统原因，在分析出为进程消耗过高CPU后列出占用CPU高和占用时间最长的线程并使用jdk自带的jstack工具进行分析CPU使用分析

分析过程：

1. 根据top命令，发现PID为13033的Java进程占用CPU %id 50%以上，占用CPU过高

2. 找到该进程后，首先显示线程列表,并按照CPU占用高的线程排序，命令为：ps mp 13033 -o THREAD,tid,time|sort -rn -k 2

3. 找到了耗时最高的线程28358，占用CPU时间达8分多钟。将需要的线程ID转换为16进制格式，命令为：printf "%x\n" 28358 例如为：b0d

4. 最后打印线程的堆栈信息：jstack 2829|grep b0d -A 30

2.2. 内存使用分析

在linux的内存分配机制中，系统优先使用物理内存，当物理内存还有空闲，表示还够用时，不会释放其占用内存，即使占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快，因此查看目前进程正在实际被使用的内存（used-buffers-cache），也可以认为如果交换分区（swap）没有大量使用，物理内存（mem）还是够用的，只有物理内存（mem）被当前进程实际占用完（没有了buffers和cache），才会使用到交换分区（swap）。

但是从代码的角度，目前研发人员主要关注java.lang.OutOfMemoryError: Java heap space异常，减少不必要的对象创建，同时避免内存泄漏，所以分析代码才是我们接下来要做的主要工作；以下为字符网关分析内存占用的故障排查过程：

● 分析手段

1. top命令：Linux命令。可以查看实时的内存使用情况。

2. jmap -histo:live [pid]，然后分析具体的对象数目和占用内存大小，从而定位代码。

3. jmap -dump:live,format=b,file=xxx.xxx [pid]，然后利用MAT工具分析是否存在内存泄漏。

3. 总结分析手段

● 分析CPU占用的方法和手段：

1. top命令：可以查看实时的CPU使用情况。

2. ps -ef命令：可以查看进程以及进程中线程的当前CPU使用情况以及属于当前状态的采样数据。

3. jstack：Java提供的命令。可以查看某个进程的当前线程栈运行情况。根据这个命令的输出可以定位某个进程的所有线程的当前运行状态、运行代码，以及是否死锁等等。

4. pstack：Linux命令。可以查看某个进程的当前线程栈运行情况

● 分析内存性能的方法和技巧：

1. top命令：可以查看实时的内存使用情况。

2. jmap -histo:live [pid]，然后分析具体的对象数目和占用内存大小，从而定位代码。

3. jmap -dump:live,format=b,file=xxx.xxx [pid]，然后利用MAT工具分析是否存在内存泄漏等等。