记录一次产线502错误

问题

晚上22:00，产线告警，一个产线服务无法访问，每个请求都报502错误。

<html>
<head><title>502 Bad Gateway</title></head>
<body>
<center><h1>502 Bad Gateway</h1></center>
<hr><center>******</center>
</body>
</html>

分析

数据链路示意图：

MaShang 码商业务服务，处理具体的业务逻辑
Proxy 代理服务器，通过专线将请求发送到国内的聚石塔服务器
Tower 天猫聚石塔内的服务，主要用于签名并转发请求给Tmall服务
Token 更新token
Tmall 淘宝官方的服务

从产线日志来看，可以排除是代理服务器Proxy的问题。根据经验，线上502多数是由于后端服务挂掉导致的，网关后面是tower服务。登录产线服务器，果真是tower服务器挂了，并且重启tower服务失败。cpu和内存的使用量都正常，再查看磁盘空间，磁盘空间满了。查找大文件，日志足足有15G，真正原因可算找到了。这台服务器是低配版的云服务器，磁盘空间有限。

结论

服务器的日志多年没清理，日志堆满了磁盘，导致服务挂了。删除日志文件，重启服务，问题解决。

改进

根据天猫的规定，tower服务必须部署到他们的聚石塔服务器内。内部做过k8s容器化改造，但没有对聚石塔的服务做容器化改造，tower服务也没有高可用方案。

申请服务器资源，每个服务至少部署两个节点，防止单点故障。
监控服务器的资源，设置CPU，内存，磁盘空间，网络等服务器资源的告警阈值。
定期删除没有使用的日志，或者在服务内限制日志的最大使用量。

记录一次产线502错误相关推荐

线上nginx偶尔出现502错误
周末休息的时候,经理突然发消息来,说服务器崩了,马上打开网站查看,发现部分接口请求的时候,nginx报502错误.登上服务器,查看了nginx错误日志,发现了大量的异常. no live upstre ...
一次线上的502错误排查问题
问题描述:应用人员反映有好几个页面查询等待一段时间返回502错误,其余页面都正常查询. 网络环境:项目环境是由N台主机部署应用程序,并由nginx配置组成集群提供服务. 通过百度查询502错误一般是指 ...
车间生产管理（一）· 产线流程控制及产品质量追溯解决方案
产线 MES 系统能够带来哪些实际应用呢? 主近灯光模组线上,在总成压入工位的机械手抓取一个主近模组,准备往灯光支架上安装前,通过模组二维码,查询该模组的生产数据.MES 系统根据读到的模组二维码,快 ...
【Experience Summary】出差布置产线
前言 2017年12月份,完成了Reality SmartSwitch (https://www.amazon.com/dp/B07K3TRG6W/ref=emc_b_5_i)的基本功能,以及生产测试 ...
赋能自动化产线，RFID不可或缺！
赋能自动化产线,RFID不可或缺! 随着科技的不断发展,工业产线的自动化程度也越来越高,智能制造成为众多制造企业的新发展方向.作为物联网中的无线识别通信技术之一,RFID技术是如何帮助企业实现工业自动 ...
ipqc异常处理流程图_产线异常处理流程
与<产线异常处理流程>相关的范文供应商来料异常管理流程 1. 目的: 规范来料产品的异常处理流程控制,提高来料合格率. 2. 范围: 本规范适用于所有外购零部件及外包加工件. 3. 职责 ...
产线数字化软件源码_数字化工厂规划的十大核心要素
导读在当前智能制造的热潮之下,很多企业都在规划建设智能工厂.众所周知,智能工厂的规划建设是一个十分复杂的系统工程,为了少走弯路,本文整理了在建设中要考虑的十个核心要素以及需要关注的重点维度. 数据的 ...
Try-Catch 包裹的代码异常后，竟然导致了产线事务回滚！| 原力计划
一段被try-catch包裹后的代码在产线稳定运行了200天后忽然发生了异常,而这个异常竟然导致了产线事务回滚.这期间究竟发生了什么?日常在项目过程中该如何避免事务异常?就在这个时候,老板拿着< ...
关于粽子的生产产线提速
我正在参加「初夏创意投稿大赛」详情请看:初夏创意投稿大赛今天公司组织发福利,端午的福利,粽子... 也不是直接的发粽子.而是给你礼品卷,自己选择相应的礼品进行兑换. 就是这么个东西,由于我们公司一直 ...

记录一次产线502错误

问题

分析

结论

改进

记录一次产线502错误相关推荐

最新文章

热门文章