使用awk命令分析nginx日志定位响应慢的java接口
nginx日志格式
可以在nginx.conf配置文件中使用log_format自定义日志文件格式,示例如下:
log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for" ''$request_time $upstream_response_time';
其中 $request_time 和 $upstream_response_time是响应时间相关的配置。
- request_time : 整个请求的时间,以秒为单位。包括接收客户端请求数据、后端程序响应、发送响应数据给客户端的时间,但不包含写日志的时间。
- upstream_response_time:请求过程中,向后端建立连接到接受完数据关闭连接的时间,以秒为单位。
awk命令
awk命令可以处理文本,对满足条件的数据执行某些操作。
awk '($NF > 0.2){print $7}' access.log
表示对access.log中的每一行日志按照默认分隔符(空格或Tab)分割,对满足条件($NF > 0.2)的数据进行操作(print $7)。
其中 $0表示整行数据,$1表示第一个分割结果, $NF表示最后一个。
awk默认的分割符为空格或Tab,可以使用-F\"
设置分割符为"。
匹配条件支持使用正则表达式,正则表达式需要放在//
中间。
分析示例
access log日志格式如下,
192.168.1.1 - - [10/Jan/2022:10:10:10 +0800] "GET /test/get?v1=aa&version=1.1.0 HTTP/1.1" 500 48 "-" "Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)" "0.004" "-" "-" "-""192.168.1.1:80" "500" "48" "0.004"
使用如下命令
awk -F\" '($22 > 1 && $1~/Jan\/2022/){print $2}' access.log | sort -n| uniq -c|sort -nr|head -50
对access log日志进行分析,把2022年一月的请求中,响应时间大于1秒的接口进行汇总排序,打印前50条。
-F\"
表示将分割符设置为"$22 > 1 && $1~/Jan\/2022/
表示匹配条件为响应时间(分割出来的第22个数据)大于1秒,且第一个字段中包含Jan/2022
- print $2 表示打印分割出的第二个字段
输出结果示例如下:
9991 /test/test1
997 /test/test2
338 /test/test3
165 /test/test4
71 /test/test5
使用awk命令分析nginx日志定位响应慢的java接口相关推荐
- awk分析nginx日志里面的接口响应时间
2019独角兽企业重金招聘Python工程师标准>>> 最近,有客户反应客户端卡,老板集合技术人员开会讨论,找出慢的原因,由此产生了分析nginx响应时间,由于线上环境nginx日志 ...
- 烂泥:利用awstats分析nginx日志
昨天把nginx的日志进行了切割,关于如何切割nginx日志,可以查看<烂泥:切割nginx日志>这篇文章. 今天打算分析下nginx日志,要分析nginx日志,我们可以通过shell脚本 ...
- 利用awstats分析nginx日志
今天打算分析下nginx日志,要分析nginx日志,我们可以通过shell脚本和第三方软件awstats进行分析,在此我们选择的是通过第三方软件awstats进行分析. 要使用awstats分析ngi ...
- linux nginx 日志查看,查看nginx日志_Linux系统怎么分析Nginx日志
摘要 腾兴网为您分享:Linux系统怎么分析Nginx日志,追书神器,有信,虚拟机,天气预报等软件知识,以及云软件,东方财富股票软件,扑飞,名片扫描王,微信加人软件安卓,微主题,每日金股,电脑硬盘检测 ...
- 使用GoAccess分析Nginx日志
下载 GoAccess 的源代码.编译和安装: http://www.goaccess.io/download # wget http://tar.goaccess.io/goaccess-0.9.6 ...
- CentOS 7.2下ELK分析Nginx日志生产实战(高清多图)
注:本文系原创投稿 本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名 ...
- python 正则分析nginx日志
有个需求要分析nginx日志,也懒得去研究logstach之类的开源工具,干脆直接写一个脚本,自己根据需求来实现: 先看日志格式:我们跟别人的不太一样,所以没办法了: 12.195.166.35 [1 ...
- python分析nginx日志
利用python脚本分析nginx日志内容,默认统计ip.访问url.状态,可以通过修改脚本统计分析其他字段. 一.脚本运行方式 python count_log.py -f med.xxxx.com ...
- python分析nginx日志_利用python分析nginx日志
最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...
最新文章
- old DIB in res\*.ico
- 使用Convirt 2.0.1管理虚拟机环境
- 惠普打印机节能环保认证证书_学生在家学习 入门级喷墨打印机 300元-500元档
- 【bootstrap】使用支持bootstrap的时间插件daterangepicker
- linux服务器上svn的log_Linux服务器上搭建svn服务器
- SqlServer动态表查询
- pe_xscan 做了1处改进
- django+echarts数据可视化(NBA球队数据可视化02)!
- 数字三角形——蓝桥杯
- 朗强科技讲解:HDMI分配器的作用与使用方法
- 哪些思维让你受益匪浅
- 电脑桌面的计算机网络回收站图标不见了,桌面回收站图标不见了怎么办 回收站图标找回方法【图文】...
- 基于Robopeak触摸屏和官方摄像头的树莓派照相机
- 技术团队建设总结(一)
- 百度Java二面面经
- dedecms织梦网站程序搬家的几个步骤详解
- MFC在对话框中绘制图像
- 如何取消IE“已限制此网页运行可以访问计算机的脚本或ActiveX控件”
- 【RabbitMQ】Go语言实现六种消息中间件模型
- 让你的微信小程序具有在线支付功能