线上服务可用性骤降追查

背景

下午五点多收到某线上服务可用性骤降的报警：499比例超阈值。查看监控发现服务可用性在各个idc均有下降；服务500错误码比例飙升。

问题追查

登上（刚开始还可以远程登录）单台机器查看PHP的Fatal日志：某脚本执行时间超过php-cgi最大执行时长（30s）。查看该脚本发现该脚本在特殊场景下会触发死循环，造成php-cgi进程一直在执行，直到达到设置的最大执行时长。
服务的上游有超时（1.5s）限制，超时之后会主动断开连接，最终在服务的access日志中记录499的状态码！
每个机器上开启了128个php-cgi进程，30s内如果有超过128个请求的话就会造成后续过来的请求没有相应的php-cgi进程进行处理，造成502！
查看机器的CPU，发现机器CPU负载在95%以上。
下午五点PM通过某平台进行了配置文件上线操作

快速止损

修改脚本文件，通过某平台重新上线配置文件，然而一直上线失败，机器亦无法远程登录，应该是机器CPU负载打满，机器宕机。此路不同。
发机器重启上线单，重启成功。可以重新登录，半分钟之后，机器再次宕机。此路不同。
联系OP，缩容机器，丢弃部分流量，并由OP重启机器。重启之后再次上线配置，上线成功，之后再由OP进行扩容，恢复流量，服务最终可用。

服务不可用时长达到1小时，造成全年服务可用性低于4个9。

总结

完善既有服务配置文件上线机制
加强代码上线前的code review
梳理服务应急预案

一次难忘的线上事故。

线上服务可用性骤降追查相关推荐

如何提高线上服务可用性
上一篇文章中我简单介绍了一次线上服务的可用性下降追查过程,今天我们接着上次的内容来学习如何保证服务的高可用性. 具体分为开发阶段.测试阶段.上线阶段.监控阶段等几大项.这些内容就像是一套组合拳,练好了 ...
java - JVM 线上服务的FGC问题排查
线上服务的GC问题,是Java程序非常典型的一类问题,非常考验工程师排查问题的能力.同时,几乎是面试必考题,但是能真正答好此题的人并不多,要么原理没吃透,要么缺乏实战经验. 过去半年时间里,我们的广告 ...
线上服务的FGC问题排查，看这篇就够了！
线上服务的GC问题,是Java程序非常典型的一类问题,非常考验工程师排查问题的能力.同时,几乎是面试必考题,但是能真正答好此题的人并不多,要么原理没吃透,要么缺乏实战经验. 过去半年时间里,我们的广告 ...
【转】线上服务的FGC问题排查，看这篇就够了！
线上服务的GC问题,是Java程序非常典型的一类问题,非常考验工程师排查问题的能力.同时,几乎是面试必考题,但是能真正答好此题的人并不多,要么原理没吃透,要么缺乏实战经验. 过去半年时间里,我们的广告 ...
JVM:线上服务的FGC问题排查
原文链接:https://blog.csdn.net/bestxianfeng163/article/details/107972060 线上服务的GC问题,是Java程序非常典型的一类问题,非常考验 ...
线上服务CPU100%问题快速定位实战--转
来自微信公众号架构师之路功能问题,通过日志,单步调试相对比较好定位. 性能问题,例如线上服务器CPU100%,如何找到相关服务,如何定位问题代码,更考验技术人的功底. 58到家架构部,运维部,58 ...
线上服务CPU100%问题快速定位实战(转载公众号：架构师之路)
功能问题,通过日志,单步调试相对比较好定位. 性能问题,例如线上服务器CPU100%,如何找到相关服务,如何定位问题代码,更考验技术人的功底. 58到家架构部,运维部,58速运技术部联合进行了一次线上 ...
HH SaaS电商系统的线上服务商品库存和采购设计
文章目录线上服务商品库存和采购整体思路线上服务商品的采购单状态线上服务商品的出库单状态商家完成服务线上服务商品库存和采购整体思路线上服务商品直接在商品编辑页面编辑库存数量即可,服务端自动生 ...
springboot怎么杀进程_线上服务平均响应时间太长，怎么排查？
线上服务平均响应时间太长,怎么排查? https://xie.infoq.cn/article/914b5c56000a3880016abd8d6 前言: 最近线上环境某个接口服务响应时间偏长,导致用 ...

线上服务可用性骤降追查

背景

问题追查

快速止损

总结

线上服务可用性骤降追查相关推荐

最新文章

热门文章