java内存泄露direct_详解SpringCloudGateway内存泄漏问题
SpringCloudGateway内存泄漏问题
项目完善差不多,在进入压力测试阶段期间,发现了gateway有内存泄漏问题,问题发现的起因是,当时启动一台gateway,一台对应的下游应用服务,在压力测试期间,发现特别不稳定,并发量时高时低,而且会有施压机卡住的现象,然后找到容器对应的宿主机,并使用container stats命令观察内存,经过观察发现,压力测试时内存会暴涨,并由于超过限制最大内存导致容器挂掉(这里由于用的swarm所以会自动选择节点重启)最终发现由于之前测试服务器配置低,所以限制了堆大小为1g,容器cpu 1,容器内存限制为了1g,经过调整后将内存改为4g且不限制容器资源的情况下,并发稳定,单机qps也不错,但是多次压力测试后依然会有卡住的问题,观察了日志之后确定为内存泄漏
io.netty.util.internal.OutOfDirectMemoryError:
failed to allocate 16777216 byte(s) of direct memory
(used: 4110417927, max: 4116185088)
- LEAK: ByteBuf.release() was not called before it's garbage-collected.
发现问题之后,我进入容器内dump了内存快照,并下载到本机由jvisualvm分析,分析过程中并没有发现异常情况,由于gateway底层是netty,所以怀疑是堆外内存出了问题,这时候我从快照中查询bytebuff,依然很小,后来直接使用arthas去线上分析,分析发现堆内存正常,gc也没有问题
最后为了快速测试出异常,我调小了堆外内存大小,并配合nmt调查
-XX:NativeMemoryTracking=detail -XX:MaxDirectMemorySize=100M
在线上使用pmap去查看内存,发现了很多的anon,并且每次并发都会增长
转移到本地进行测试,发现内存远超出分配的堆大小,最终确定为堆外内存出了问题
既然是堆外内存出的问题,我们就只关心是否申请了buff没有释放,通过对代码的检查发现,只有两个地方使用到了相关的内容
DataBuffer buffer = exchange.getResponse().bufferFactory().wrap(bytes);
return serverHttpResponse.writeWith(Flux.just(buffer));
对上面的代码进行大量压测后发现并无问题,内存没有异常增长不回收
ServerHttpRequest httpRequest = exchange.getRequest().mutate().headers(httpHeaders -> {
httpHeaders.add(GatewayConstants.LOGIN_USER_KEY, JSON.toJSONString(s));
}).build();
return chain.filter(exchange.mutate().request(httpRequest).build());
还有一处就是修改请求头这部分代码,当注释掉这部分时,内存稳定没有异常增长,当放开时,3000并发几乎增加800M内存,几次就怼到了5g+,由于gateway内置了一个请求头工厂(AddRequestHeaderGatewayFilterFactory),我去查看对应的源代码,是怎么实现的
如图,除了多了解析配置之外和我写的基本也一样,那为何会内存异常呢?只能去github上找找问题看看有人遇到相同的事没。
这个老哥遇到的问题也类似,他是修改请求体的内容时出现的
这个问题我也遇到了
看起来这个问题还是挺严重的,最后我也反手提了一个问题
没有啥回答,最后还是参考了一些别人的写法最后内存不会飙升了,但是不知其为何,还得继续调查
到此这篇关于详解SpringCloudGateway内存泄漏问题的文章就介绍到这了,更多相关SpringCloudGateway内存泄漏内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
java内存泄露direct_详解SpringCloudGateway内存泄漏问题相关推荐
- Linux初始化内存盘黑屏,详解linux内存磁盘初始化技术.doc
详解linux内存磁盘初始化技术 详解linux内存磁盘初始化技术 /5502266.html 关键词: HYPERLINK "/tag/initrd" \n _blankinit ...
- Java内存泄露原因详解
一.Java内存回收机制 不论哪种语言的内存分配方式,都需要返回所分配内存的真实地址,也就是返回一个指针到内存块的首地址.Java中对象是采用new或者反射的方法创建的,这些对象的创建都是在堆(He ...
- 抓到Netty一个隐藏很深的内存泄露Bug | 详解Recycler对象池的精妙设计与实现
本系列Netty源码解析文章基于 4.1.56.Final版本 最近在 Review Netty 代码的时候,不小心用我的肉眼抓到了一个隐藏很深很深的内存泄露 Bug. 于是笔者将这个故事-哦不 -事 ...
- Java高并发编程详解系列-内存模型
volatile关键字介绍,要了解volatile需要了解的还有Java内存模型,以及CPU内存模型等知识.首先从CPU和Java内存模型开始说起. CPU Cache模型 在之前的时候,分享过一 ...
- 内存虚拟化、内存复用、大页内存作用及详解
内存虚拟化.内存复用.大页内存作用及详解 1. 内存虚拟化 2. 内存复用 2.1. 内存共享 2.2. 内存置换 2.3. 内存气泡 3. 大页内存 3.1. 大页内存原理 3.2. 大页内存配置 ...
- Java 内存模型 JMM 详解
转载自 Java 内存模型 JMM 详解 JMM简介 Java Memory Model简称JMM, 是一系列的Java虚拟机平台对开发者提供的多线程环境下的内存可见性.是否可以重排序等问题的无关具体 ...
- 详解JVM内存管理与垃圾回收机制5 - Java中的4种引用类型
在Java语言中,除了基础数据类型的变量以外,其他的都是引用类型,指向各种不同的对象.在前文我们也已经知道,Java中的引用可以是认为对指针的封装,这个指针中存储的值代表的是另外一块内存的起始地址(对 ...
- Java内存模型(JMM)详解
在Java JVM系列文章中有朋友问为什么要JVM,Java虚拟机不是已经帮我们处理好了么?同样,学习Java内存模型也有同样的问题,为什么要学习Java内存模型.它们的答案是一致的:能够让我们更好的 ...
- 详解JVM内存管理与垃圾回收机制2 - 何为垃圾
随着编程语言的发展,GC的功能不断增强,性能也不断提高,作为语言背后的无名英雄,GC离我们的工作似乎越来越远.作为Java程序员,对这一点也许会有更深的体会,我们不需要了解太多与GC相关的知识,就能很 ...
最新文章
- 如何优化linux系统
- python发明者叫什么-python是谁的
- Bootstrap 环境安装
- java抽象类实现接口可以不用实现方法
- JS的基本语法知识概括(ECMA、DOM、BOM)
- sql 缓冲池_运行中SQL Server缓冲池
- PAT (Basic Level) Practice1006 换个格式输出整数
- CentOS 7.4 上如何安装 tomcat 9
- 用stack实现括号匹配
- Python 正则表达模块详解
- snipaste截图软件安装各种问题解决办法
- 互联网的寒冬是否只是以讹传讹?
- Microsoft Visual Studio 2019正式版离线安装包下载
- 菜鸟教程JVM优化,看一篇就够了!
- 前端js实现京东轮播图
- 2018百度沸点国人年度榜单出炉
- LSTM的数据集准备
- 虚拟主机如何连接MYSQL数据库呢?
- 【MySQL】sys系统库配置表
- Windows 7 下Fetion2008无法正常运行