log nginx 客户端请求大小_Nginx日志分析和参数详解
本文档主要介绍Nginx设置日志参数的作用,以及Nginx日志常用分析命令
基本大纲:
1.Nginx日志记录格式的介绍
2.Nginx日志参数详解
3.Web服务流量名词介绍
4.Nginx日志常用分析命令示范
一:Nginx日志记录格式的介绍
log_format用来设置日志的记录格式:
log_format name format
name表示格式名称,format表示等义的格式。log_format有一个默认的无需设置的combined日志格式,相当于apache的combined日志格式,如下所示:
log_format combined '$remote_addr - $remote_user [$time_local] '
' "$request" $status $body_bytes_sent '
' "$http_referer" "$http_user_agent" ';
如果nginx位于负载均衡器,squid,nginx反向代理之后,web服务器无法直接获取到客户端真实的IP地址了。 $remote_addr获取反向代理的IP地址。反向代理服务器在转发请求的http头信息中,可以增加X-Forwarded-For信息,用来记录客户端IP地址和客户端请求的服务器地址。
下面是修改后,生产环境下代理服务器用的日志格式。可以根据需要添加对应的日志参数
log_format main '$remote_addr - $remote_user [$time_local] requesthost:"$http_host"; "$request" requesttime:"$request_time"; '
'$status $body_bytes_sent "$http_referer" - $request_body'
'"$http_user_agent" "$http_x_forwarded_for"';
二:Nginx日志参数详解
参数注释如下:
$remote_addr #与$http_x_forwarded_for 用以记录客户端的ip地址
$http_x_forwarded_for #当前端有代理服务器时,设置web节点记录客户端地址的配置,此参数生效的前提是代理服务器也要进行相关的http_x_forwarded_for设置
$remote_user #记录客户端用户名称,一般默认为空
$time_local #记录访问时间
$request #记录请求的URL和HTTP协议
$status #记录请求状态
$body_bytes_sent #记录发送给客户端文件内容大小
$http_referer #记录从哪个页面链接访问过来的
$http_user_agent #记录客户端浏览器相关信息
$request_time #处理完请求所花时间,以秒为单位
$http_host #请求地址,即浏览器中你输入的地址(IP或域名)
$request_body #记录POST数据
$request_length #客户端请求的长度
$upstream_status #upstream状态,成功是200
$upstream_addr #后台upstream的地址,即真正提供服务的主机地址
$upstream_response_time #请求过程中,upstream响应时间
三:Web服务流量名词介绍
网站并发连接数:定义为网站服务器在单位时间内能够处理的最大连接数。示例:某网站的并发是5000.意味着单位时间内(理解为1秒或数秒内),正在处理的连接数,正在建立的连接数,加起来一共是5000个。
IP:即Internet Protocol,一般指独立IP数,独立IP数是指不同IP地址的计算机访问网站时被计的总次数。一般一天00:00-24:00内相同IP地址只被计算一次。
PV:即Page View,中文翻译为页面浏览,即页面浏览量或点击量,不管客户端是否相同,也不管IP和网站页面是否相同,用户只要访问网站页面就会计算PV,一次计为一个PV
UV:即Unique Visitor,同一个客户端(PC或移动端)访问网站被计为一个访客。一天(00:00-24:00)内相同的客户端访问同一个网站只统计一次UV。UV一般是以客户端Cookie等技术作为统计依据的,实际统计会有误差。
IP,PV,UV的区别在哪?
举例说明:假设某个公司有10个员工,都访问了www.taobao.com这个网站。每个人平均浏览了5个页面,但是公司的对外出口是一个公网IP。所以对于www.taobao.com这个网站而言,只会计算1个独立IP访问。但是因为有10个人在访问www.taobao.com这个网站,并且平均都访问了5次,因此,对于www.taobao.com这个网站而言,PV数就是10x5=50个PV,而因为有10个人访问,就是10个不同的客户端访问,因此,UV(独立访客)为10.
因此上例结果为IP数为1个,PV数为50个,UV为10个。通过这个结果,不难看出,一个网站的独立IP数量要比网站实际访问的PV数量小得多。通常情况下,网站的UV数也会大于独立IP数
四:Nginx日志常用分析命令示范(注:日志的格式不同,awk取的项不同。下面命令针对上面日志格式执行)
1)总请求数
wc -l access.log |awk '{print $1}'
2)独立IP数
awk '{print $1}' access.log|sort |uniq |wc -l
3)每秒客户端请求数 TOP5
awk '{print $6}' access.log|sort|uniq -c|sort -rn|head -5
4)访问最频繁IP Top5
awk '{print $1}' access.log|sort |uniq -c |sort -nr |head -5
5)访问最频繁的URL TOP5
awk '{print $7}' access.log|sort |uniq -c |sort -nr |head -5
6)响应大于5秒的URL TOP5
awk '{if ($7 > 5){print $6}}' access.log|sort|uniq -c|sort -rn |head -5
7)HTTP状态码(非200)统计 Top5
awk '{if ($11 != 200){print $11}}' access.log|sort|uniq -c|sort -rn|head -5
8)分析请求数大于50000的源IP
cat access.log|awk '{print $NF}'|sort |uniq -c |sort -nr|awk '{if ($1 >50000){print $2}}'
log nginx 客户端请求大小_Nginx日志分析和参数详解相关推荐
- log nginx 客户端请求大小_nginx
博主会将与Nginx有关的知识点总结到"nginx短篇系列"文章中,如果你对nginx不是特别了解,请按照顺序阅读"nginx短篇系列",以便站在前文的基础上理 ...
- log nginx 客户端请求大小_nginx log记录请求响应时间
有时为了方便分析接口性能等,需要记录请求的时长,通过修改nginx的日志格式可以做到,如 添加一个新的log_format log_format timed_combined '$remote_a ...
- Nginx内置变量以及日志格式变量参数详解
Nginx内置变量以及日志格式变量参数详解 $args #请求中的参数值 $query_string #同 $args $arg_NAME #GET请求中NAME的值 $is_args #如果请求中有 ...
- log nginx 客户端请求大小_后端实践:Nginx日志配置(超详细)
前言 设置access_log语法 作用域 基本用法 使用log_format自定义日志格式语法 设置error_log语法 基本用法 open_log_file_cache语法 基本用法 总结 前言 ...
- nginx post请求超时_Nginx 的超时 timeout 配置详解
本文介绍 Nginx 的 超时(timeout)配置.分享给大家,具体如下: Nginx 处理的每个请求均有相应的超时设置.如果做好这些超时时间的限定,判定超时后资源被释放,用来处理其他的请求,以此提 ...
- nginx post请求超时_nginx记录分析网站响应慢的请求(ngx_http_log_request_speed)
nginx模块ngx_http_log_request_speed可以用来找出网站哪些请求很慢,针对站点很多,文件以及请求很多想找出哪些请求比较慢的话,这个插件非常有效.作者的初衷是写给自己用的,用来 ...
- nginx服务器access_log日志分析及配置详解
本博客转载于:http://www.pythontab.com/html/2013/linuxkaiyuan_0104/96.html nginx的log日志分为access log 和 error ...
- nginx服务器查看日志文件,nginx服务器中access_log日志分析与配置详解
前言 nginx的log日志分为:access log 和 error log 其中access log 记录了哪些用户,哪些页面以及用户浏览器.ip和其他的访问信息 error log 则是记录服务 ...
- 【nmon】nmon :服务器性能结果报告分析 —— 报表参数详解
目录 一.nmon命令 二.nmon性能结果报告分析 (1)SYS_SUMM[服务器资源使用率汇总] (2)AAA (3)PIVOTCHART (4)BBBP (5)DISK_SUMM (6)CPU_ ...
最新文章
- 用计算机解决问题的五个步骤,人们利用计算机解决问题的基本过程一般有如下五个步骤....docx...
- Ethernet/IP 学习笔记三
- COM 组件设计与应用(一)
- 缘何Square可以在移动支付领域上成功?
- oracle java 绑定变量的值_Oracle SQL调优之绑定变量用法简介
- ubuntu+ngrok内网穿透+Flask部署以及frp稍微提一下
- 前端学习(2163):安装clint错误和ESlint规范
- 天池在线编程 2020年9月26日 日常周赛题解
- Python --链接MYSQL数据库与简单操作 含SSH链接
- 11.2.0.3 MRP进程异常终止 ORA-00600 krr_assemble_cv_3
- ps快速制作全屏水印
- word---尾注法插入参考文献
- CR渲染器全景图如何渲染颜色通道_CR渲染如何设置渲染AO图和材质通道?
- python translate 中文_Python translate()方法
- 提高多表关联数据查询效率
- android retrofit实例,Retrofit使用步骤
- python函数大全书籍京东_用python爬取京东图书排行榜并进行数据整合
- 千川数据返回值解析(AES)解密
- java虚拟机JVM--java虚拟机的结构
- 支小蜜智慧食堂管理系统,聚合支付功能助力食堂支付