close_wait过多服务器无响应,记一次大量CLOSE

最近线上服务出现了一段时间的无法响应，在此总结一下问题的排查过程。

监控信息

监控显示CPU和内存没有异常波动，TCP连接中有大量的CLOSE_WAIT状态的连接。

看一下TCP连接断开的过程：

也就是说客户端发起了断开连接的包，服务端收到数据后状态变更为CLOSE_WAIT，这时需要等待服务端处理完连接中未发送完的数据之后发送FIN给客户端，但是服务端此时可能因为各种原因，中断在了这个环节，导致操作系统的连接数被CLOSE_WAIT占用，没有足够资源响应客户端请求。所以接下来就需要查清楚服务端到底在忙什么，为什么不继续完成断开连接的四次挥手过程。

线程栈

对于Java应用，可以利用JDK提供的工具查看线程的栈。

jstack -l pid

其中pid是JVM进程的ID

打印出的栈信息中可以发现大量类似上图的WAITING状态的线程，线程在以下几种情况会进入WAITING状态：

Object的wait方法，并且没有使用timeout参数;

Thread的join方法，没有使用timeout参数;

LockSupport的park方法。

如果一个线程调用了一个对象的wait方法，那么这个线程就会处于waiting状态直到另外一个线程调用这个对象的notify或者notifyAll方法后才会解除这个状态。

具体到此处的问题，可以理解为数据库连接池中获取连接时，没有可用连接，此时调用notEmpty.await();等待有连接释放回收到连接池或创建新的连接后notify当前线程再来获取连接。所以此时问题的根本原因是数据库连接池耗尽，一直在wait可用连接，线程无法继续执行下去。

数据库连接池的配置

我的应用是基于springboot开发的，在技术社区也查到了一些关于springboot的默认数据库连接配置可能会存在潜在风险。数据连接池默认配置带来的坑

简单来说，默认的数据连接配置，可能会导致连接池中的连接是不可用的，但是仍在连接池中充数，并不会被释放。增加了以下几个参数，DONE!

testWhileIdle: true

validationQuery: SELECT 1

timeBetweenEvictionRunsMillis: 60000

close_wait过多服务器无响应,记一次大量CLOSE_WAIT连接导致的服务宕机相关推荐

linux内存不足宕机,记一次linux机器内存占用太多导致的服务宕机
背景最近我们测试环境部署的一个项目总是不停的宕机,之前也有过,但是最近特别频繁猜测可能是因为cup或者内存占用太大导致的服务宕机执行 1.登录linux服务器 2.top命令下面是对每一行信 ...
一次region过多导致HBase服务宕机事件
具体情况是,甲方有10个节点的HBase集群,主要业务表共10张,region总数达23000+,平均每台RegionServer(RS)的region数量2300左右,每台RS堆内存配置96G(初始 ...
closewait过多服务器无响应,CLOSE_WAIT连接过多的现象分析与处理
CLOSE_WAIT连接过多的现象分析与处理未分类 1. CLOSE_WAIT的机制和原理一. 来自参考资料:从问题看本质: 研究TCP close_wait的内幕客户端主动发起 socket.c ...
荣耀wlan服务器无响应,华为荣耀WiFi穿墙宝连接不上解决办法 | 192路由网
家里原来装了一套荣耀WiFi穿墙宝(一个网口宝+一个wifi宝),在有wifi宝的房间用着挺好. 另外一个房间靠荣耀路由穿墙模式将就用着,但信号一直不好,最近实在受不了,又在闲鱼淘了一套wifi穿墙宝 ...
手机360服务器无响应,360安全卫士待安装系统连接微软服务器没响应怎么回事？？...
2009-11-21 回答方法一: 看看防火墙或是杀毒软件有没有相关的进程,"World Wide Web Publishing"的可执行文件是"inetinfo.ex ...
广电宽带拨号失败服务器无响应,广电宽带无线路由器怎样进行连接？无法正常上网处理方法介绍...
路由器具有判断网络地址和选择IP路径的功能,它能在多网络互联环境中,建立灵活的连接,可用完全不同的数据分组和介质访问方法连接各种子网,不少小区用户安装的是广电宽带,在设置无线路由器会遇到很多麻烦,例如 ...
找靓机总是服务器无响应,【已解决】聚投诉网友投诉找靓机：找靓机退货收取退货折旧费300，平台说支持七天无理由退货，但是真正退货时找借口，不退钱...
2019年12月07日 18:46,王先生发起对找靓机的投诉.截止发稿前,找靓机有效投诉85次. 王先生向公益性消费投诉平台21CN聚投诉反映:"平台和描述不符,说支持七天无理由退货,然后购 ...
路由器连网提示服务器无响应,路由器提示服务器无响应
路由器提示服务器无响应内容精选换一换 HiLens Kit有两种组网方式,分为无线和有线两种方式连接路由器,本章介绍有线网络配置方式.不能同时使用无线网络和有线网络连接同一个路由器,无线连接会自动 ...
转转服务器无响应,【转】服务器无响应(或者本地MySQL服务器的套接字没有正确配置)的问题...
服务器无响应(或者本地MySQL服务器的套接字没有正确配置)的问题第一种情况:(深度清理垃圾导致host.MYD丢失) 跟很多网友一样!用wamp(或xampp.speedphp)可以很容易在自己的 ...

close_wait过多服务器无响应,记一次大量CLOSE_WAIT连接导致的服务宕机

close_wait过多服务器无响应,记一次大量CLOSE_WAIT连接导致的服务宕机相关推荐

最新文章

热门文章