背景:

网络大致拓扑型

定位到一台Nginx节点于凌晨Timewait异常,等到6K。

进程异常,ngx_http_realtime_request模块错误

错误日志:

2017/02/24 00:01:02 [alert] 25911#0: worker process 24588 exited on signal 11
2017/02/24 00:01:02 [alert] 25911#0: shared memory zone "http_realtime_request_zone" was locked by 24588
2017/02/24 00:01:02 [alert] 25911#0: worker process 24589 exited on signal 11
2017/02/24 00:01:02 [alert] 25911#0: shared memory zone "http_realtime_request_zone" was locked by 24589

解决过程:

Nginx每天凌晨定时切割日志reload后,进程异常,但端口存活,致使F5仍旧分发请求,以及监控无法异常告警。

1. 从github上查找项目https://github.com/magicbear/ngx_realtime_request_module

发现最近更新是4年前,项目不活跃。

2.网上有报过这个问题:http://code.taobao.org/pipermail/tengine-cn/2014-June/001406.html

>>>> 2014-06-30 12:17 GMT+08:00 赵海军 <zhaohaijun在cmcm.com>:
>>>>> 那这个问题应该是ngx_http_realtime_request导致的,请问有什么解决办法吗?
>>>>>>> 这个看起来像是模块实现时的问题。需要这个模块的开发者来帮助排查,可以尝试再他的github上提个issue。
>> BTW,我粗略看了下他的模块,这个问题可能和ngx_http_realtime_request_init_zone()实现有关系。
>> *这里*ngx_http_realtime_request_init_zone()实现上是不太完善的
>>

3. 关闭ngx_http_realtime_request模块,重新reload

4.增加timewait 监控

5. 用elk监控nginx的流量,替换ngx_http_realtime_request功能

转载于:https://www.cnblogs.com/davidwang456/p/6474168.html

nginx假死导致的问题回顾相关推荐

  1. 浏览器真的能“永不假死”?——六款主流浏览器防假死功能测试

    作者:一石来源:家用电脑 浏览器是大家上网必备的工具,而浏览器假死也是大家在上网时常常所遇到的问题,让人头疼.最近各款主流浏览器纷纷推出了最新版本,我们可以发现一个相同点就是他们都以"防假死 ...

  2. Java线上问题排障:Linux内核bug引发JVM死锁导致线程假死

    Java本质上还是离不开操作系统,一来Java源码是用C/C++实现的,二来java进程还是需要依附于操作系统和硬件资源,有时候一些问题是操作系统级别导致的,下面的整个事件是源自一则真实的线上案例. ...

  3. Ubuntu下安装Wine可能导致假死问题解决方案

    Ubuntu下安装Wine可能导致假死问题解决方案 出现问题 在使用Ubuntu使用apt-get install wine时,导致下载处于假死状态,不论将dpkg命令杀死,还是按照提示sudo ap ...

  4. mysql 导致iis 假死_解决IIS无响应假死状态

    1 查看服务器iis的w3wp.exe对应的应用程序池 在IIS6下,经常出现w3wp的内存占用不能及时释放,从而导致服务器响应速度很慢. 今天研究了一下,可以做以下配置: 1.在IIS中对每个网站进 ...

  5. java移动文件导致tomcat死掉_原 netty导致tomcat假死

    一.系统需求: 保证后台系统在大并发下正常处理每一个业务连接请求. 二.运作方式: Netty+tomcat.在tomcat的web.xml配置文件中配置一个Listener类用来在tomcat初始化 ...

  6. GC overhead limt exceed 导致的java进程假死

    2019独角兽企业重金招聘Python工程师标准>>> 1.现象 线上后台任务的java进程处于假死状态 2.排查过程 1.查看假死的进程ID ps -ef | grep sku 2 ...

  7. java 线程耗尽_关于线程耗尽导致请求超时系统假死

    线程耗尽:我们知道java程序中,所有计算都是通过线程来执行的,同时我们为了能够重复利用线程,避免频繁创建线程而消耗资源,一般我们都使用线程池,既然是池,那就表明线程是有限的,既然是有限的就会有耗尽的 ...

  8. java 线程耗尽_关于线程耗尽导致请求超时系统假死的思考

    线程耗尽:我们知道java程序中,所有计算都是通过线程来执行的,同时我们为了能够重复利用线程,避免频繁创建线程而消耗资源,一般我们都使用线程池,既然是池,那就表明线程是有限的,既然是有限的就会有耗尽的 ...

  9. 记录一次并发情况下的redis导致服务假死的问题

    问题描述 最近项目在做性能压测,框架使用的是 spring boot 2.1.2 + jedis 2.9.1,80个并发持续压测4-5分钟服务就假死,所有的请求就pending,查看服务日志没有任何异 ...

最新文章

  1. ubuntu百度网盘下载大文件
  2. linux ubuntu 17,Ubuntu 17.04(Zesty Zapus)已经结束支持,请升级到Ubuntu 17.10
  3. 神策数据:从技术视角看,如何更多、更好、更快地实施A/B试验
  4. __user_initial_stackheap 库函数翻译(转)
  5. WebClient UI删除搜索条件的后台处理,以及max hit的处理逻辑
  6. 每天一道CTF---bugku-----有趣的题(PHP语言特性)
  7. 组织在召唤:如何免费获取一个js.org的二级域名
  8. 用 cctld工具创建带有国家代码的IP地址表
  9. 2014秋应用计算机,2014年秋计算机应用基础》期末试卷A(A3版).doc
  10. 私藏的开发过程中的那些基类
  11. C/C++文件操作效率比较——FILE/fstream
  12. 从代码到300优质客户,用户画像在销售的实战应用
  13. day9-mysql集群
  14. JAVA程序员的学习网站(2)
  15. vue引入自定义字体otf、ttf字体的方法
  16. sis防屏蔽程序_程序员经常看的开源月刊《HelloGitHub》第 56 期
  17. 网页设计配色应用实例剖析——蓝色系
  18. 普京任命卡德罗夫为车臣总统
  19. 【大数据】Linkis是什么呢
  20. windows2003中了一键还原7.9的招了

热门文章

  1. crypto安装_CryptoPP库在Linux系统下的安装与测试
  2. 恒驰机器人_恒大汽车基地:2545台机器人为恒驰“效力”
  3. 反向传播算法_9.3 反向传播算法的直观理解 Backpropagation Intuition
  4. 七骑士android版上线时间,腾讯独代韩手游《七骑士》今日全面公测
  5. java字符串10_十个最常见的Java字符串问题
  6. before css 旋转_七夕,当然少不了纯CSS的点缀啦
  7. C++中对象的构造顺序和析构顺序
  8. 按钮button的常用属性和事件
  9. 统计输入字符串中英文单词的个数
  10. vb.net限制datagridview不能选择_事业单位考试有哪些条件限制?