Metaspace泄漏排查

2024-06-05 14:52:51

2019独角兽企业重金招聘Python工程师标准>>>

一、案件背景

近日，一个线上应用开始频繁报警：异常日志、接口rt超时、load高、tcp重传率高等等。现场监控如下：

从基础监控来看，cpu使用率不算特别异常，而load高说明等待cpu资源的线程队列长，配合rt上涨来看，推测是线程出现了堆积，而线程堆积一般有两种情况：

线程内部处理耗时变长：比如缓存未命中、被下游请求block、慢sql、循环逻辑耗时等。
JVM因GC、锁擦除等jvm操作原因触发stop the world，导致线程等待。

下面进一步定位问题。

二、问题定位

线程耗时变长？

因为应用重度依赖缓存，一起排查问题的同学发现tair成功率也有下降，于是找tair同学开始排查。

tair的同学表示集群正常，观察同机房其他应用读写tair也正常，推测问题还是出在应用自身。（其实应用自身负载高时，会引起tair超时和序列化失败，表象来看都像tair有问题，心疼下tair的同学。。。）

另外从db监控来看也没有慢sql出现，近期也没有逻辑改动较大的发布，暂时从其他方向看看。

STW

接下来比较醒目的就是GC监控了，监控如下：

可以看到问题期间GC次数和耗时明显上升，这里需要注意，因为GC监控里CMS(或G1)和Full GC都会归到Full GC里，所以登到机器上看看gc.log。

这里看到Metadata GC Threshold引起Full GC的字样较多，回收情况也很差（382626K->381836K）再通过jstat看下使用情况：

转载于:https://my.oschina.net/u/3611008/blog/1837080

Metaspace泄漏排查相关推荐

golang runtime.systemstack 泄漏排查
golang runtime.systemstack 泄漏排查 Fetching profile over HTTP from http://:9001/debug/pprof/heap Saved ...
一次恐怖的 Java 内存泄漏排查实战
转载自一次恐怖的 Java 内存泄漏排查实战最近在看<深入理解Java虚拟机:JVM高级特性与最佳实践>(第二版)这本书,理论+实践结合,深入浅出,强烈推荐给大家. 这两天对JVM内 ...
填坑总结：python内存泄漏排查小技巧
摘要:最近服务遇到了内存泄漏问题,运维同学紧急呼叫解决,于是在解决问题之余也系统记录了下内存泄漏问题的常见解决思路. 本文分享自华为云社区<python内存泄漏排查小技巧>,作者:luti ...
iview select 内存泄漏_Vue遇到的内存泄漏排查处理
Vue遇到的内存泄漏排查处理 1.定位问题跟踪具体那一部分造成的泄漏. (1)js写法(闭包.全局变量等).dom事件监听.循环定时器等这些造成的泄漏在度娘上应该都很好找到处理: (2)组件的泄漏(D ...
异常连接导致的内存泄漏排查
目录异常连接导致的内存泄漏排查背景详细流程使用windbg分析dump文件使用wireshark抓包分析完成端口和重叠IO 重叠I/O 完成端口 Reactor模型与Proactor模型 ...
C++内存泄漏排查以及几个工具
近期排查老项目App的偶发闪退问题过程中,发现程序竟然有内存泄漏的情况,表现为连续运行多天后程序占用的虚拟内存和物理内存都会持续升高,经过排查修改,找出了多处内存泄漏,现对排查过程做个小结. 内存泄漏 ...
FFmepg D3D11va解码渲染内存泄漏排查
FFmepg D3D11va解码渲染内存泄漏排查背景介绍排查思路 D3D渲染对象 FFmpeg内存探测背景介绍 Rtsp播放器,采用FFmepg D3D11va硬解码 + D3D11渲染. 正 ...
记一次SOFA内存泄漏排查过程
记一次内存泄漏排查过程起因某天中午大家还在安静的午休,睡得正香的时候突然被一阵手机滴-滴滴直响短信惊醒.一看是应用的服务器告警并且对应服务的所有机器都在告警"健康检查失败,自动拉下线&q ...
iOS 内存泄漏排查方法及原因分析
级别: ★★☆☆☆ 标签:「iOS」「内存泄漏排查」「Leaks工具」作者: MrLiuQ 审校: QiShare团队本文将从以下两个层面解决iOS内存泄漏问题: 内存泄漏排查方法(工具) 内存泄 ...

最新文章

热门文章