nginx假死导致的问题回顾
背景:
网络大致拓扑型
定位到一台Nginx节点于凌晨Timewait异常,等到6K。
进程异常,ngx_http_realtime_request模块错误
错误日志:
2017/02/24 00:01:02 [alert] 25911#0: worker process 24588 exited on signal 11 2017/02/24 00:01:02 [alert] 25911#0: shared memory zone "http_realtime_request_zone" was locked by 24588 2017/02/24 00:01:02 [alert] 25911#0: worker process 24589 exited on signal 11 2017/02/24 00:01:02 [alert] 25911#0: shared memory zone "http_realtime_request_zone" was locked by 24589
解决过程:
Nginx每天凌晨定时切割日志reload后,进程异常,但端口存活,致使F5仍旧分发请求,以及监控无法异常告警。
1. 从github上查找项目https://github.com/magicbear/ngx_realtime_request_module
发现最近更新是4年前,项目不活跃。
2.网上有报过这个问题:http://code.taobao.org/pipermail/tengine-cn/2014-June/001406.html
>>>> 2014-06-30 12:17 GMT+08:00 赵海军 <zhaohaijun在cmcm.com>: >>>>> 那这个问题应该是ngx_http_realtime_request导致的,请问有什么解决办法吗? >>>>>>> 这个看起来像是模块实现时的问题。需要这个模块的开发者来帮助排查,可以尝试再他的github上提个issue。 >> BTW,我粗略看了下他的模块,这个问题可能和ngx_http_realtime_request_init_zone()实现有关系。 >> *这里*ngx_http_realtime_request_init_zone()实现上是不太完善的 >>
3. 关闭ngx_http_realtime_request模块,重新reload
4.增加timewait 监控
5. 用elk监控nginx的流量,替换ngx_http_realtime_request功能
转载于:https://www.cnblogs.com/davidwang456/p/6474168.html
nginx假死导致的问题回顾相关推荐
- 浏览器真的能“永不假死”?——六款主流浏览器防假死功能测试
作者:一石来源:家用电脑 浏览器是大家上网必备的工具,而浏览器假死也是大家在上网时常常所遇到的问题,让人头疼.最近各款主流浏览器纷纷推出了最新版本,我们可以发现一个相同点就是他们都以"防假死 ...
- Java线上问题排障:Linux内核bug引发JVM死锁导致线程假死
Java本质上还是离不开操作系统,一来Java源码是用C/C++实现的,二来java进程还是需要依附于操作系统和硬件资源,有时候一些问题是操作系统级别导致的,下面的整个事件是源自一则真实的线上案例. ...
- Ubuntu下安装Wine可能导致假死问题解决方案
Ubuntu下安装Wine可能导致假死问题解决方案 出现问题 在使用Ubuntu使用apt-get install wine时,导致下载处于假死状态,不论将dpkg命令杀死,还是按照提示sudo ap ...
- mysql 导致iis 假死_解决IIS无响应假死状态
1 查看服务器iis的w3wp.exe对应的应用程序池 在IIS6下,经常出现w3wp的内存占用不能及时释放,从而导致服务器响应速度很慢. 今天研究了一下,可以做以下配置: 1.在IIS中对每个网站进 ...
- java移动文件导致tomcat死掉_原 netty导致tomcat假死
一.系统需求: 保证后台系统在大并发下正常处理每一个业务连接请求. 二.运作方式: Netty+tomcat.在tomcat的web.xml配置文件中配置一个Listener类用来在tomcat初始化 ...
- GC overhead limt exceed 导致的java进程假死
2019独角兽企业重金招聘Python工程师标准>>> 1.现象 线上后台任务的java进程处于假死状态 2.排查过程 1.查看假死的进程ID ps -ef | grep sku 2 ...
- java 线程耗尽_关于线程耗尽导致请求超时系统假死
线程耗尽:我们知道java程序中,所有计算都是通过线程来执行的,同时我们为了能够重复利用线程,避免频繁创建线程而消耗资源,一般我们都使用线程池,既然是池,那就表明线程是有限的,既然是有限的就会有耗尽的 ...
- java 线程耗尽_关于线程耗尽导致请求超时系统假死的思考
线程耗尽:我们知道java程序中,所有计算都是通过线程来执行的,同时我们为了能够重复利用线程,避免频繁创建线程而消耗资源,一般我们都使用线程池,既然是池,那就表明线程是有限的,既然是有限的就会有耗尽的 ...
- 记录一次并发情况下的redis导致服务假死的问题
问题描述 最近项目在做性能压测,框架使用的是 spring boot 2.1.2 + jedis 2.9.1,80个并发持续压测4-5分钟服务就假死,所有的请求就pending,查看服务日志没有任何异 ...
最新文章
- html手机不能自动播放音乐,解决移动端浏览器 HTML 音频不能自动播放的三种方法...
- mysql5.7导入数据的权限问题
- Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建
- API网关-apisix源码剖析,初始化依赖
- linux下字符串操作,Linux Bash 中字符串操作
- python后端框架flask_Vue+Flask轻量级前端、后端框架,如何完美同步开发
- fscanf不读取_思考了一天,终于把matlab的fscanf中的sizeA搞清楚了
- elasticsearch docker无法挂载_ElasticSearch数据备份与恢复
- 需求分析与建模最佳实践
- Photoshop 入门教程「9」如何增加画布的空间?
- ARFoundation之路-人脸检测增强之一
- networkx节点显示、节点中心性度量
- FLUKE高端时域反射OTDR OFP-100-Q上线
- [论文笔记]Feature-constrained Active Visual SLAM for Mobile Robot Navigation
- 靠腾讯光速上位,但同程艺龙可不能忘了“练内功”
- 微服务:注册中心ZooKeeper、Eureka、Consul 、Nacos对比
- RRDTool (比较全)
- 液晶显示模块制作生产流程
- DWF整合spring异常:**ScopedProxyUtils.isScopedTarget
- 米筐量化提供的数据质量怎么样?
热门文章
- 服务器怎么初始化系统,CentOS服务器怎么进行初始化
- qt5.9.0调试如何查看变量的值_从0开发3D引擎(四):搭建测试环境
- mac 更换默认蓝牙适配器_Win7连接低功耗蓝牙(BLE)鼠标
- 客户端升级为select模型
- C++中函数参数的默认值
- java 与jni转码_Android第十五课 Jni自带的iconv库不支持GBK转码
- termux配置python_termux python环境
- accessors 作用_lombok @Accessors用法详解(一看就能就懂)
- sql数据库的四大程序设计语言的语句
- gcc a.c 究竟经历了什么