一次线上的502错误排查问题

问题描述：应用人员反映有好几个页面查询等待一段时间返回502错误，其余页面都正常查询。

网络环境：项目环境是由N台主机部署应用程序，并由nginx配置组成集群提供服务。

通过百度查询502错误一般是指网关错误，往往意味着一个或两个机器已不正确或不完全编程。而在项目中 502错误的问题一般属于后台服务器挂掉的问题，例如：CPU使用过满、数据库连接数过大、内存不足、甚至是内存溢出等等因素诱发导致。

而此次我们在项目中出现问题的页面为地图监控页面，该页面会每分钟调用一次定时查询功能。通过后台的tomcat日志发现并没有报错，此时想到可能是数据库层面的问题，我们通过show variables like "%max_connection%" 查询到数据库最大连接数为200

--查询当前数据库不为Sleep且未被释放的语句:

SELECT count(*) FROM information_schema.PROCESSLIST WHERE COMMAND <> 'sleep';

此时我们查询到的数量稳定在150左右！！！问题就出在这里了，数据量未释放的连接过大，通过dstat命令查看数据库系统CPU的使用情况都高达80甚至是90以上，其实我们去查询这些未释放的语句，大多是地图监控的查询语句。通过客户了解知道，大部分客户都一直开着这个页面且长时间未关闭，且该页面会自动调用自动查询功能，由于以前用户量较少并没有爆发出这个问题。并且通过慢sql查询查询到该语句查询过慢，造成数据库连接过大，且迟迟不能释放。至于为什么是报502错误，自己并没有找到正确答案。通过了解应该是当该连接数量过多且速度过慢时nginx会判定该服务不健康，当集群中所有节点都不健康时，认为服务不存在，会有极短的一段时间对接受的连接直接返回502，即使本该200的url也受此影响。

解决方法：重构该方法，且优化该慢sql语句。

一次线上的502错误排查问题相关推荐

读书笔记：线上性能问题初步排查方法
线上性能问题初步排查方法首发于并发网,作者:方腾飞引言有时候有很多问题只有在线上或者预发环境才能发现,而线上又不能Debug,所以线上问题定位就只能看日志,系统状态和Dump线程,本文只是简单 ...
线上FullGC频繁的排查
线上FullGC频繁的排查问题前段时间发现线上的一个dubbo服务Full GC比较频繁,大约每两天就会执行一次Full GC. Full GC的原因我们知道Full GC的触发条件大致情况有以 ...
线上RPC超时故障排查及后续GC调优思路
本文记录了一次线上RPC服务调用超时问题的排查流程,排查过程中涉及到 JVM 优化的过程与思路,包括 JVM GC 原理以及问题排查思路,分享出来希望对大家有所帮助. 本文概要 RPC服务异常和排查过 ...
线上故障如何快速排查？来看这套技巧大全
简介:有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从服务器.Java应用.数据库.Redis.网络和业务六个层面分享线上故障排查的思路和技巧.较长,同学们可收藏后再看. 前言线 ...
idea本地跑如何看gc日志_线上故障如何快速排查？来看这套技巧大全
简介:有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从服务器.Java应用.数据库.Redis.网络和业务六个层面分享线上故障排查的思路和技巧.较长,同学们可收藏后再看. 前言线 ...
du -sh 如何找到最大的文件夹_线上故障如何快速排查？来看这套技巧大全
简介:有哪些常见的线上故障?如何快速定位问题?本文详细总结工作中的经验,从服务器.Java应用.数据库.Redis.网络和业务六个层面分享线上故障排查的思路和技巧.较长,同学们可收藏后再看. 前言线 ...
mysql 大量close wait_线上大量CLOSE_WAIT原因排查
近日遇到一个线上服务 socket 资源被不断打满的情况.通过各种工具分析线上问题,定位到问题代码.这里对该问题发现.修复过程进行一下复盘总结. 先看两张图.一张图是服务正常时监控到的 socket ...
Java: 线上故障如何快速排查？来看这套技巧大全(高德地图的总结)
目录前言一服务器层面 1.1 磁盘 1.1.1 问题现象 1.1.2 排查思路 1.1.3 相关命令 1.2 CPU 过高 1.2.1 问题现象 1.2.2 排查思路 1.2.3 相关命令二 ...
线上故障如何快速排查
前言上线定位问题的思路很重要,先分析大致方向是哪出现的问题内存.CPU.恶意攻击.使用的服务,包含 NGINX REDIS MYSQL PHP,最好搞一个监控系统用来实时监控设置预警值到达一定 ...

一次线上的502错误排查问题

一次线上的502错误排查问题相关推荐

最新文章

热门文章