问题描述:

https://imajinyun.xyz/2019/11/15/nginx-499-faq/
手动复现:

这里我们使用 curl 模拟请求一下,更多 curl 的骚操作请访问 curl 的用法指南。

for i in $(seq 1 10); do curl -m 2 http://api.example.test; done
curl: (28) Operation timed out after 2000 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2004 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2004 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2001 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2000 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2003 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2002 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2005 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2000 milliseconds with 0 bytes received
curl: (28) Operation timed out after 2001 milliseconds with 0 bytes received
tail -f /var/log/nginx/apiexample.access.log172.19.0.1 - - [15/Nov/2019:06:32:19 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:22 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:24 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:26 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:28 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:30 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:32 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:34 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:36 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"
172.19.0.1 - - [15/Nov/2019:06:32:38 +0000] "GET / HTTP/1.1" 499 0 "-" "curl/7.67.0"

Nginx 服务器大量499报错

220.181.165.136 - - [18/May/2015:10:31:02 +0800] "POST /v1/jobsHTTP/1.1" 499 0 "" "bdHttpRequest/1.0.0"
115.239.212.7 - - [18/May/2015:10:31:03 +0800] "GET /v1/job/643309e3-dc73-4025-aa69-c9405c1d818fHTTP/1.1" 499 0"http://www.baidu.com/?tn=91638679_hao_pg&s_j=1""Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"
140.207.202.187 - - [18/May/2015:10:30:58 +0800] "POST/v3/violations HTTP/1.1" 499 0 "-" "-"
42.236.10.71 - - [18/May/2015:10:30:59 +0800] "POST /v3/violationsHTTP/1.1" 499 0 "-" "-"
106.120.173.17 - - [18/May/2015:10:30:58 +0800] "POST/v3/violations HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Windows NT6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131Safari/537.36"
180.97.35.164 - - [18/May/2015:10:30:52 +0800] "GET/v1/job/f86bdecc-2a61-4a42-bb7b-aa794b77f89b HTTP/1.1" 499 0"http://www.baidu.com/s?word=%E5%8D%81%E5%A0%B0%E5%A4%A9%E6%B0%94&tn=sitehao123&ie=utf-8""Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"

问题分析:

1 499出现的原因

google****定义:

499 / ClientClosed Request

An Nginx HTTP server extension. This codeis introduced to log the case when the connection is closed by client whileHTTP server is processing its request, making server unable to send the HTTP header back

维基百科定义:

499 Client Closed Request (Nginx)

Used in Nginx logs to indicate when the connection has been closed by client while the server is still processing itsrequest, making server unable to send a status code back

Nginx****源码:

grep一下nginx源码,定义在ngx_request_t.h :

/*
* HTTP does notdefine the code for the case when a client closed
* the connectionwhile we are processing its request so we introduce
* own code to logsuch situation when a client has closed the connection
* before we even tryto send the HTTP header to it
*/
#define NGX_HTTP_CLIENT_CLOSED_REQUEST 499

这是nginx定义的一个状态码,用于表示这样的错误:服务器返回http头之前,客户端就提前关闭了http连接.

继续grep :

这很有可能是因为服务器端处理的时间过长,客户端“不耐烦”了

要解决此问题,就需要在程序上面做些优化了。

再grep下“NGX_HTTP_CLIENT_CLOSED_REQUEST”,发现目前这个状态值只在ngx_upstream中赋值

upstream在以下几种情况下会返回499:

(1)upstream 在收到读写事件处理之前时,会检查连接是否可用:ngx_http_upstream_check_broken_connection,if (c->error) { //connecttion错误……if (!u->cacheable) { //upstream的cacheable为false,这个值跟http_cache模块的设置有关。指示内容是否缓存。ngx_http_upstream_finalize_request(r, u, NGX_HTTP_CLIENT_CLOSED_REQUEST);}
}

如上代码,当连接错误时会返回499。

(2)server处理请求未结束,而client提前关闭了连接,此时也会返回499。

(3)在一个upstream出错,执行next_upstream时也会判断连接是否可用,不可用则返回499。

总之,这个错误的比例升高可能表明服务器upstream处理过慢,导致用户提前关闭连接。而正常情况下有一个小比例是正常的。

继续分析:

问题的核心就是要排查为什么服务端处理时间过长

可能问题:

1 后台python程序处理请求时间过长

2 mysql慢查询

通过查看监控:

1 cpu和内存的使用,都在正常范围

2 后台程序访问正常

3 MySQL没有慢查询

结果:

经过询问老大后得知,这个nginx为查询违章的api,用户提交查询后, python就去数据库或者交通局的网站查询。这个查询会有消耗一定的时间,所以,用户会主动断开连接

解决问题:

proxy_ignore_client_abort on;让代理服务端不要主动关闭客户端的连接。

默认 proxy_ignore_client_abort 是关闭的,此时在请求过程中如果客户端端主动关闭请求或者客户端网络断掉,那么 Nginx 会记录 499,同时 request_time 是「后端已经处理」的时间,而upstream_response_time 为“-“ (已验证)。

如果使用了 proxy_ignore_client_abort on, 那么客户端主动断掉连接之后,Nginx 会等待后端处理完(或者超时),然后记录「后端的返回信息」到日志。所以,如果后端返回 200,就记录 200 ;如果后端放回 5XX ,那么就记录 5XX 。(但是有nginx链接池溢出的风险)

proxy_ignore_client_abort on; 这个参数后面又从nginx注释了,如果真的是服务端有某些接口响应有问题,这个参数会引起连接不能释放,最后可能拖垮服务端,建议只在出现问题的时候,作为排查临时使用。

如果超时(默认60s,可以用 proxy_read_timeout 设置),Nginx 会主动断开连接,记录 504

注:只在做反向代理的时候加入,作为其他服务器的时候,关闭为好,默认设置是****关闭的!

https://blog.51cto.com/yucanghai/1713803

nginx出现499现象及原因相关推荐

  1. HTTP 499 状态码 nginx下 499错误

    日志记录中HTTP状态码出现499错误有多种情况,我遇到的一种情况是nginx反代到一个永远打不开的后端,就这样了,日志状态记录是499.发送字节数是0. 老是有用户反映网站系统时好时坏,因为线上的产 ...

  2. 深入浅出 Linux 惊群:现象、原因和解决方案

    hello, 大家好,我是Alex,今天分享一篇关于socket编程里面经典问题:惊群问题,文章深入分析了惊群问题的现象和其根本原因,并给出一些很好的解决方案,值得我们参考和学习,通过文章,我们可以学 ...

  3. 400错误是什么原因_499错误是什么?499错误的原因及解决方法

    ​ HTTP状态码出现499错误有多种情况,499错误是什么?下面我们来学习Nginx 499错误的原因及解决方法. 日志记录中HTTP状态码出现499错误有多种情况,比如nginx反代到一个永远打不 ...

  4. 研发人员为什么留不住:问题与现象、原因的解析

    研发人员为什么留不住:问题与现象.原因的解析[转] 研发团队做为公司的核心,承担了完成项目为公司赚钱的目的.研发人员在公司倍受重视的同时,并没有降低流失率. 问题与现象 问题产生的原因 研发团队做为公 ...

  5. 单片机长时间程序跑飞_单片机程序跑飞的三种现象、原因及解决方法

    今天在编写单片机程序的时候,由于中断服务程序写的不好,导致单片机程序总是跑飞,最后费了好长时间,花了很大功夫才找到问题原因,由此总结了单片机程序跑飞的三种现象.原因及解决方法. 一.数组越界(数组溢出 ...

  6. 过拟合现象,原因,以及降低过拟合的方法

    一.什么是过拟合,为什么要避免过拟合 图1.1 Overfit&Normal 上图是一张使用线性回归拟合二维样本数据的matlab输出图片,其中Normal曲线是使用使用了带参数空间限制的最小 ...

  7. 计算机黑屏故障产生的原因及处理方法,电脑出现间歇性黑屏现象的原因及解决方法...

    (文章来源:U大侠) 相信不少用户在使用电脑的过程中都遇到过间歇性黑屏现象,电脑突然黑屏突然屏幕又亮了起来,而且每天都会重复好几次,那么导致出现间歇性黑屏现象的原因是什么呢?处理间歇性黑屏的方法有什么 ...

  8. LCD 调屏几种现象及原因

    LCD 调屏几种现象及原因     Andrew Huang <bluedrum@163.com> 原文:http://blog.chinaunix.net/uid-20587912-id ...

  9. win10一按右键就闪屏_Win10屏幕闪烁是什么原因 Win10屏幕闪烁现象的原因及解决办法...

    部分使用Win10系统的用户可能会遇到过屏幕出现闪烁的问题,这通常是因为运行了不兼容的软件或者显卡驱动出现了故障.那么Win10屏幕闪烁是什么原因呢?以下是Win10屏幕闪烁解决办法. 检查任务管理器 ...

  10. 联想微型计算机开机黑屏什么原因,联想笔记本电脑开机黑屏的现象及原因分析...

    联想笔记本电脑开机黑屏的现象有很多种,根据这些现象,我们就可以判断问题所在,就容易解决了,下面小编整理了几种常见的现象及原因分析,供大家参考. 现象一:玩游戏的时候出现乱码,条纹,运行其他程序没问题, ...

最新文章

  1. 快速学习使用 Windows Azure 上的 SharePoint Server 2013
  2. php对图像的各种处理函数代码小结
  3. 字符输入流_Reader类FileReader类介绍
  4. Objective-C 深复制和浅复制与NSCopying协议
  5. Hibernate:More than one row with the given identifier was found解决办法
  6. C语言之字符串探究(十):递归逆置字符串
  7. IOS数据本地存储的四种方式--
  8. sed 和 awk 正则表达式
  9. L1-049__056
  10. MSDN Windows 10 21H1 64位19043原版系统
  11. twitter最多关注者_Twitter的10个最具创意的用途
  12. 基于VHDL语言分频器电路程序设计
  13. 常用统计预测方法介绍
  14. 如何解决Invalid quadratic form: product is complex
  15. [听听音乐]吴金黛 音乐有意思 歌单
  16. 干货 | 18个 Python 高效编程技巧
  17. 51单片机入门——Keil uVision4的使用
  18. python爬虫学习笔记 3.9 (了解参考:训练Tesseract)
  19. DeprecationWarning: Seeding based on hashing is deprecated since Python 3.9
  20. fiddle 下载及配置

热门文章

  1. java chm文件解析_Java 解析chm文件实战(原创)
  2. 用c++随机生成10小学生算术题的课设
  3. chrome 隐藏 地址栏_如何在Chrome中隐藏地址栏
  4. 关于timer产生的pwm寄存器arr,ccr,psc分析
  5. Unity shader 空气扭曲效果
  6. SparkStreaming性能调优
  7. IP-guard全部22个功能模块简介
  8. MyExcel.net 使用手册
  9. springboot发送短信验证码
  10. js实现数组扁平化的6种方法