问题描述:
Nginx 服务器大量499报错

220.181.165.136 - - [18/May/2015:10:31:02 +0800] "POST /v1/jobsHTTP/1.1" 499 0 "" "bdHttpRequest/1.0.0"115.239.212.7 - - [18/May/2015:10:31:03 +0800] "GET /v1/job/643309e3-dc73-4025-aa69-c9405c1d818fHTTP/1.1" 499 0"http://www.baidu.com/?tn=91638679_hao_pg&s_j=1""Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"140.207.202.187 - - [18/May/2015:10:30:58 +0800] "POST/v3/violations HTTP/1.1" 499 0 "-" "-"42.236.10.71 - - [18/May/2015:10:30:59 +0800] "POST /v3/violationsHTTP/1.1" 499 0 "-" "-"106.120.173.17 - - [18/May/2015:10:30:58 +0800] "POST/v3/violations HTTP/1.1" 499 0 "-" "Mozilla/5.0 (Windows NT6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131Safari/537.36"180.97.35.164 - - [18/May/2015:10:30:52 +0800] "GET/v1/job/f86bdecc-2a61-4a42-bb7b-aa794b77f89b HTTP/1.1" 499 0"http://www.baidu.com/s?word=%E5%8D%81%E5%A0%B0%E5%A4%A9%E6%B0%94&tn=sitehao123&ie=utf-8""Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"

问题分析:
1 499出现的原因
google定义:
499 / ClientClosed Request
An Nginx HTTP server extension. This codeis introduced to log the case when the connection is closed by client whileHTTP server is processing its request, making server unable to send the HTTP header back
维基百科定义:
499Client Closed Request (Nginx)
Used in Nginx logs to indicate when the connection has been closed by client while the server is still processing itsrequest, making server unable to send a status code back
Nginx源码:
grep一下nginx源码,定义在ngx_request_t.h :

/*
* HTTP does notdefine the code for the case when a client closed
* the connectionwhile we are processing its request so we introduce
* own code to logsuch situation when a client has closed the connection
* before we even tryto send the HTTP header to it
*/

#define NGX_HTTP_CLIENT_CLOSED_REQUEST 499
这是nginx定义的一个状态码,用于表示这样的错误:服务器返回http头之前,客户端就提前关闭了http连接
继续grep :
wKioL1ZK_oWDZn9NAAC_HrhuQAs422.png

这很有可能是因为服务器端处理的时间过长,客户端“不耐烦”了。
要解决此问题,就需要在程序上面做些优化了。

再grep下“NGX_HTTP_CLIENT_CLOSED_REQUEST”,发现目前这个状态值只在ngx_upstream中赋值

upstream在以下几种情况下会返回499:

(1)upstream 在收到读写事件处理之前时,会检查连接是否可用:
ngx_http_upstream_check_broken_connection,if (c->error) { //connecttion错误……if (!u->cacheable) { //upstream的cacheable为false,这个值跟http_cache模块的设置有关。指示内容是否缓存。ngx_http_upstream_finalize_request(r, u, NGX_HTTP_CLIENT_CLOSED_REQUEST);}
}

如上代码,当连接错误时会返回499。
(2)server处理请求未结束,而client提前关闭了连接,此时也会返回499。
(3)在一个upstream出错,执行next_upstream时也会判断连接是否可用,不可用则返回499。
总之,这个错误的比例升高可能表明服务器upstream处理过慢,导致用户提前关闭连接。而正常情况下有一个小比例是正常的。
继续分析:
问题的核心就是要排查为什么服务端处理时间过长
可能问题:
1 后台python程序处理请求时间过长
2 mysql慢查询
通过查看监控:
1 cpu和内存的使用,都在正常范围
2 后台程序访问正常
3 MySQL没有慢查询

结果:
经过询问老大后得知,这个nginx为查询违章的api,用户提交查询后, python就去数据库或者交通局的网站查询。这个查询会有消耗一定的时间,所以,用户会主动断开连接
解决问题:
proxy_ignore_client_abort on; #让代理服务端不要主动关闭客户端的连接。

默认 proxy_ignore_client_abort 是关闭的,此时在请求过程中如果客户端端主动关闭请求或者客户端网络断掉,那么 Nginx 会记录 499,同时 request_time 是「后端已经处理」的时间,而upstream_response_time 为“-“ (已验证)。

如果使用了 proxy_ignore_client_abort on ;
那么客户端主动断掉连接之后,Nginx 会等待后端处理完(或者超时),然后记录「后端的返回信息」到日志。所以,如果后端返回 200,就记录 200 ;如果后端放回 5XX ,那么就记录 5XX 。
如果超时(默认60s,可以用 proxy_read_timeout 设置),Nginx 会主动断开连接,记录 504
注:只在做反向代理的时候加入,作为其他服务器的时候,关闭为好,默认设置是关闭的!

本文转自Tenderrain 51CTO博客,原文链接:http://blog.51cto.com/tenderrain/2045110,如需转载请自行联系原作者

服务器排障 之 nginx 499 错误的解决相关推荐

  1. 连接中心服务器异常,FF14排队出现2002错误详细解决办法 连接大厅服务器发生错误怎么办?...

    最终幻想14最近国服的5.0新版本上线了,不过很多玩家在进入游戏之后出现了提示"连接大厅服务器发生错误"代号是2002,导致进不去游戏,一些玩家还不知道该怎么办,下面就来为大家介绍 ...

  2. 电视PPTV服务器响应异常,pptv出现异常错误怎么解决

    现在,很多朋友都挺喜欢用pptv视频软件观看视频.但是,有时候在观看过程中,出现异常错误的情况,不知道要怎么处理?下面,小编给大家带来,给很多朋友带来pptv出现异常错误的解决方法,一起来看看pptv ...

  3. php curl nginx 499 错误

    在windows中开发LNMP项目时,会遇到同一台机器上有多个套php代码,如果直接用php通过curl访问其他项目时会提示超时. 经过尝试,可以用如下方式解决! 先查看nginx日志时看到如: 19 ...

  4. 排障集合——Nginx和Apache设置系统服务systemctl start时报错,Job for nginx.service failed because the control process

    配置系统服务前价差了nginx配置,无误. [root@localhost system]# nginx -t nginx: the configuration file /usr/local/ngi ...

  5. 宽带服务器无响应678,宽带连接错误678解决方法

    宽带连接错误678表示远端服务器未响应,表示线路不通或上端服务器设置有问题,如果确认物理线路连接无问题及本身路由器或电脑配置正确且无故障则需要联系网络供应商解决. 宽带连接错误678故障常见解决办法 ...

  6. 网站打开出现服务器错误代码,网站打开出现“404”错误怎么解决?

    **404这个状态码是很多Seoer分析网站日志时常见到的,那么404错误是什么意思呢?它表示客户端请求的网页不存在,因此返回** 404代码:服务器找不到请求的网页.服务器上不存在的网页经常会返回此 ...

  7. mysql服务器失败1396_MYSQL ERROR 1396 (HY000) 错误的解决办法

    1.在mysql 数据库里面想再建立一个用户,可是提示错误? ​在mysql命令行里面,想用"create user"命令建立一个名为"developer",密 ...

  8. 更新DOTA2显示无法连接到更新服务器,Dota2国服不能更新出现错误的解决办法

    <Dota2(刀塔)>国服更新出现launcher out of data问题怎么办?<dota2>国服不能更新的解决办法是?下面就是高玩贡献出来的技巧心得经验-- 最近Dot ...

  9. HTTP 499 状态码 nginx下 499错误

    日志记录中HTTP状态码出现499错误有多种情况,我遇到的一种情况是nginx反代到一个永远打不开的后端,就这样了,日志状态记录是499.发送字节数是0. 老是有用户反映网站系统时好时坏,因为线上的产 ...

最新文章

  1. 初次使用CxImage类库、VC6配置UNICODE的方法
  2. Server Error in '/' Application. 报错
  3. redis aof日志持久化和key设计原则
  4. 微软跨平台移动开发工具套件HockeyApp宣布免费
  5. python的特殊方法介绍
  6. php支付回调怎么写_php 微信支付回调校验的两种做法
  7. elasticsearch-head的使用
  8. “软件工程造价师”和“软件造价评估师”有什么区别?
  9. hackerrank 刷题一(python 基础)
  10. 互联网晚报 | 1月10日 星期一 | 天猫年货节正式开启;哪吒汽车第10万台量产车下线;三星永久关闭Tizen应用商店...
  11. matlab中linspace函数
  12. Python 日期格式总结
  13. 威廉玛丽学院计算机专业好吗,威廉玛丽学院商学院BA专业怎么样?
  14. ssh免密码登录全过程
  15. 关于Flash Media Server
  16. 图像修复必读的10篇论文
  17. 书论95 蒋骥《续书法论》
  18. JPA 学习(四) JPA_EntityManager系列
  19. Java配置环境变量教程,Java配置环境变量的作用
  20. HDLBits(4) Procedures合集

热门文章

  1. 华为鸿蒙再次公测,华为鸿蒙开启第二轮公测,新增7款机型,有你的吗?
  2. GPU Gems1 - 8 衍射的模拟
  3. ioc框架 java_从零开始实现一个简易的Java MVC框架(三)--实现IOC
  4. 在Winform中菜单动态添加“最近使用文件”
  5. mybatis之动态SQL操作之查询
  6. 【公共类库】加密解密
  7. 60个数据窗口技巧(转)
  8. 小孔子文章管理系统V2.0发布测试
  9. 网页里如何使用js禁用控制台
  10. CSS做个Switch开关