[转载]线上应用故障排查之一:高CPU占用
以我们最近出现的一个实际故障为例,介绍怎么定位和解决这类问题。
根据top命令,发现PID为28555的Java进程占用CPU高达200%,出现故障。
通过ps aux | grep PID命令,可以进一步确定是tomcat进程出现了问题。但是,怎么定位到具体线程或者代码呢?
首先显示线程列表:
ps -mp pid -o THREAD,tid,time
找到了耗时最高的线程28802,占用CPU时间快两个小时了!
其次将需要的线程ID转换为16进制格式:
printf "%x\n" tid
最后打印线程的堆栈信息:
jstack pid |grep tid -A 30
找到出现问题的代码了!
现在来分析下具体的代码:ShortSocketIO.readBytes(ShortSocketIO.java:106)
ShortSocketIO是应用封装的一个用短连接Socket通信的工具类。readBytes函数的代码如下:
public byte[] readBytes(int length) throws IOException {
if ((this.socket == null) || (!this.socket.isConnected())) {
throw new IOException("++++ attempting to read from closed socket");
}
byte[] result = null;
ByteArrayOutputStream bos = new ByteArrayOutputStream();
if (this.recIndex >= length) {
bos.write(this.recBuf, 0, length);
byte[] newBuf = new byte[this.recBufSize];
if (this.recIndex > length) {
System.arraycopy(this.recBuf, length, newBuf, 0, this.recIndex - length);
}
this.recBuf = newBuf;
this.recIndex -= length;
} else {
int totalread = length;
if (this.recIndex > 0) {
totalread -= this.recIndex;
bos.write(this.recBuf, 0, this.recIndex);
this.recBuf = new byte[this.recBufSize];
this.recIndex = 0;
}
int readCount = 0;
while (totalread > 0) {
if ((readCount = this.in.read(this.recBuf)) > 0) {
if (totalread > readCount) {
bos.write(this.recBuf, 0, readCount);
this.recBuf = new byte[this.recBufSize];
this.recIndex = 0;
} else {
bos.write(this.recBuf, 0, totalread);
byte[] newBuf = new byte[this.recBufSize];
System.arraycopy(this.recBuf, totalread, newBuf, 0, readCount - totalread);
this.recBuf = newBuf;
this.recIndex = (readCount - totalread);
}
totalread -= readCount;
}
}
}
问题就出在标红的代码部分。如果this.in.read()返回的数据小于等于0时,循环就一直进行下去了。而这种情况在网络拥塞的时候是可能发生的。
至于具体怎么修改就看业务逻辑应该怎么对待这种特殊情况了。
最后,总结下排查CPU故障的方法和技巧有哪些:
1、top命令:Linux命令。可以查看实时的CPU使用情况。也可以查看最近一段时间的CPU使用情况。
2、PS命令:Linux命令。强大的进程状态监控命令。可以查看进程以及进程中线程的当前CPU使用情况。属于当前状态的采样数据。
3、jstack:Java提供的命令。可以查看某个进程的当前线程栈运行情况。根据这个命令的输出可以定位某个进程的所有线程的当前运行状态、运行代码,以及是否死锁等等。
4、pstack:Linux命令。可以查看某个进程的当前线程栈运行情况。
(友情提示:本博文章欢迎转载,但请注明出处:hankchen,http://www.blogjava.net/hankchen)
转载于:https://www.cnblogs.com/NightPxy/p/9224718.html
[转载]线上应用故障排查之一:高CPU占用相关推荐
- 线上应用故障排查之二:高内存占用
为什么80%的码农都做不了架构师?>>> 搞Java开发的,经常会碰到下面两种异常: 1.java.lang.OutOfMemoryError: PermGen space 2 ...
- Java线上应用故障排查之二:高内存占用
前一篇介绍了线上应用故障排查之一:高CPU占用,这篇主要分析高内存占用故障的排查. 搞Java开发的,经常会碰到下面两种异常: 1.java.lang.OutOfMemoryError: PermGe ...
- Java线上应用故障排查之一:高内存占用
Java线上应用故障排查之一:高内存占用 转载地址:http://www.blogjava.net/hankchen 搞Java开发的,经常会碰到下面两种异常: 1.java.lang.OutOfMe ...
- linux 内核空间占用cpu百分比过高,线上linux系统故障排查之一:CPU使用率过高
摘自: 一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环. 下面我们将一步步定位问题,详尽的介绍每一步骤的相关知识. 一.通过top命令定位占用cpu高的进程 执行top ...
- Java线上应用故障排查之一:高CPU占用
一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环. (友情提示:本博文章欢迎转载,但请注明出处:hankchen,http://www.blogjava.net/hank ...
- 线上应用故障排查之一:高CPU占用
流程执行命令: 1.top 查到pid 28555 2.ps aux|grep 28555 确定到是tomcat的进程 3.显示线程列表 ps -mp 28555 -o THREAD,tid,tim ...
- 线上OOM故障排查——Curator retryPolicy的选择、Jute.maxBuffer的配置
本来悠闲地写着bug喝着茶的,突然被一连串报警信息打断. CPU使用率飙升.内存使用率超出阈值.服务未定时打印指定的日志内容(公司日志监控平台)等一系列报警... 因为CPU使用率飙升.内存使用率超出 ...
- 线上Java 高CPU占用、高内存占用排查思路
一.前言 处理过线上问题的同学基本上都会遇到系统突然运行缓慢,CPU 100%,以及Full GC次数过多的问题.当然,这些问题的最终导致的直观现象就是系统运行缓慢,并且有大量的报警.本文主要针对系统 ...
- 内存地址 哪个程序_记一次排查线上程序内存的忽高忽低,又是大集合惹祸了...
一:背景 1. 讲故事 昨天继续还技术债,优化一轮后的程序拉到线上后内存继续忽高忽低,低的时候20G,高的时候30G,过了一会又下降了几个G,毫无疑问,程序中有什么集合或者什么操作占用了大量内存,所以 ...
最新文章
- 码crc校验_CRC计算
- YOLOv5的pytorch模型文件转换为ONNX文件
- android 自定义span_教你自定义android中span
- 数据库面试题【十六、优化长难的查询语句】
- 时序分析:DTW算法(基于模板)
- 回文数、罗马数转整数、整数反转
- 【转】教你何时开启水果机上的HDR拍照
- 数据分析如何揭示冠状病毒的真相?
- Softmax的推导以及实现
- 关于日期单双日,星期判断
- READING | 我是一只IT小小鸟
- ZZULIOJ1036
- 性能测试详解(三)Tomcat性能调优
- 1123 铲雪车(欧拉回路)
- kmplayer android官方下载,KMPlayer下载
- Layui table内写done回调事件
- 【Writeup】2017陕西网络空间安全技术大赛CSTC misc部分
- 教师计算机基础知识培训简报,信息技术能力提升培训简报.doc
- NLP经典论文:Attention、Self-Attention、Multi-Head Attention、Transformer 笔记
- 一步一步教你用Python爬虫框架Scrapy下载Pdf文件
热门文章
- 网游云上网络优化方案
- Flink SQL 在网易云音乐的产品化实践
- 阿里巴巴向全社会开放黑科技:“泡在水里”的服务器
- oracle语句加减,oracle时间加减的语句写法
- 从零点五开始用Unity做半个2D战棋小游戏(五)
- OCM备考 一、Server config 之网络配置
- WPF IP地址输入控件的实现
- 【转】Asp.NetMve移除HTTP Header中服務器信息Server、X-AspNet-Version、X-AspNetMvc-Version、X-Powered-By:ASP.NET...
- ArrayList刷题总结
- Mysql 中如何创建触发器