记一次ZABBIX监控JMX故障

最近偶然发现线上其中一个服务的zabbix图形没有出来，点开发现报了一个错：

java.rmi.ConnectIOException: error during JRMP connection establishment; nested exception is:
java.net.SocketException: Connection reset

初步怀疑是端口占用，然后看了端口，发现端口并没有被占用。重启了一下，图形依然没有出来。

接着看了下系统上的一些限制，没有超过限制，因为之前已经调整过了。

netstat看了下端口，全是TIME_WAIT，问题就应该出在这里了。

调整内核参数

/etc/sysctl.conf # tcp连接保持时间为1800秒
net.ipv4.tcp_keepalive_time = 1800
# 回收TIME_WAIT占用的连接
net.ipv4.tcp_tw_recycle = 1sysctl -p

本来我以为这样就解决了，然而，几行文字出现在我的眼前

启用TIME-WAIT状态sockets的快速回收，这个选项不推荐启用。在NAT(Network Address Translation)网络下，会导致大量的TCP连接建立错误。如果没有技术大神的指点的话，千万不要去改动他。

最合适的解决方案是增加更多的四元组数目，比如，服务器可用端口，或服务器IP，让服务器能容纳足够多的TIME-WAIT状态连接。

在服务端，不要启用net.ipv4.tcp_tw_recycle，除非你能确保你的服务器网络环境不是NAT。在服务端上启用net.ipv4.tw_reuse对于连接进来的TCP连接来说，并没有任何卵用.

在客户端（尤其是服务器上，某服务以客户端形式运行时，比如上面提到的nginx反代，连接着redis、mysql的FPM等等）上启用net.ipv4.tcp_tw_reuse，还算稍微安全的解决TIME-WAIT的方案。再开启net.ipv4.tcp_tw_recycle的话，对客户端（或以客户端形式）的回收，也没有什么卵用，反而会发生很多诡异的事情（尤其是FPM这种服务器上，相对nginx是服务端，相对redis是客户端）。

看来，出现问题的时候一定要考虑全面，不然就会埋下隐患。

参考文档

https://www.cnblogs.com/xupei...
https://blog.csdn.net/chengm8...

记一次ZABBIX监控JMX故障相关推荐

zabbix监控jmx
介绍背景:目前公司用的主要语言就是java,然后在运维过程中会遇到频繁的内存溢出的情况,之前使用过elk日志分析系统可以实时的判断出内存溢出的情况,但是无法查看内存的使用情况,只能通过dump文件查 ...
zabbix监控系统下——zabbix实现数据库监控、对JMX的支持、server和agent的关系、zabbix监控报警平台
目录五.zabbix实现数据库监控 1.在agent端设置 2.在浏览器前端设置六.zabbix对JMX(Java)应用的支持七.server和agent的关系 1.agent端的信息采集变被动 ...
Zabbix使用JMX监控tomcat
1.安装tomcat和jdk [root@server2 ~]# ls apache-tomcat-8.5.24.tar.gz jdk-8u121-linux-x64.rpm zabbix [root ...
Zabbix（四）zabbix使用JMX监控tomcat（java类应用）
一.zabbix使用JMX监控tomcat(java类应用) (一)在server2上操作(agent端) 1.将jdk和tomcat上传到server2(从官网上下载,此处我已经直接下载到了我的物理 ...
Zabbix通过JMX监控Java应用
Zabbix通过JMX(Java Management Extensions)可以对Java Application进行监控,Zabbix利用原生的Zabbix Java gateway,一个Java ...
Zabbix监控故障问题
故障问题1.公司在一段时间稳定以后,把原来的Nagios监控全部替换为了Zabbix监控,但是出现了Zabbix Server端Zabbix服务启动不起来的问题,或者启动了一小会就自动停止了问题2 ...
zabbix监控-基本原理介绍
一.Linux下开源监控系统简单介绍 1)cacti:存储数据能力强,报警性能差 2)nagios:报警性能差,存储数据仅有简单的一段可以判断是否在合理范围内的数据长度,储存在内存中.比如,连续采样数 ...
Zabbix监控系统安装与使用
一.Zabbix简介: zabbix是完全开源的工具,整合了cacti和nagios等特性 cacti:snmp nagios:linux 主机:nrpe 设备:snmp 附:SNMP(udp1 ...
zabbix 监控过程详解
监控过程详解 1.修改密码及中文版按如上操作即可,选择中文以后,点击下面的update即可更新成功为了安全起见修改密码修改完成后同样点击更新即可. 2.创建主机及主机群组 1.定义一个主机群组 ...

记一次ZABBIX监控JMX故障

最近偶然发现线上其中一个服务的zabbix图形没有出来，点开发现报了一个错：

初步怀疑是端口占用，然后看了端口，发现端口并没有被占用。重启了一下，图形依然没有出来。

接着看了下系统上的一些限制，没有超过限制，因为之前已经调整过了。

netstat看了下端口，全是TIME_WAIT，问题就应该出在这里了。

调整内核参数

本来我以为这样就解决了，然而，几行文字出现在我的眼前

看来，出现问题的时候一定要考虑全面，不然就会埋下隐患。

参考文档

记一次ZABBIX监控JMX故障相关推荐

最新文章

热门文章