awk分析nginx日志里面的接口响应时间
2019独角兽企业重金招聘Python工程师标准>>>
最近,有客户反应客户端卡,老板集合技术人员开会讨论,找出慢的原因,由此产生了分析nginx响应时间,由于线上环境nginx日志格式带上了引号,处理起来有点麻烦,以下是处理过程
一、nginx日志格式
log_format main ‘$remote_addr – $remote_user [$time_iso8601] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for” ‘
‘ “$upstream_addr” “$upstream_status” “$request_time” ‘;
二、nginx访问日志(/var/log/nginx)
12.124.127.44 – – [29/Jul/2014:20:54:20 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.001”
115.29.113.101 – – [29/Jul/2014:20:54:22 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.005”
112.124.127.53 – – [29/Jul/2014:20:56:49 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
112.124.127.44 – – [29/Jul/2014:20:59:20 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
115.29.113.101 – – [29/Jul/2014:20:59:22 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
三、分析nginx日志
3.1打印响应时间并且去除引号
cat website.access.log| awk ‘{print $(NF)}’ | awk -F “\”” ‘{print $2′}>a.txt
3.2合并文件,将时间重新补上去
paste -d ” ” website.access.log a.txt > b.txt
3.3查找响应时间大于1秒的url
cat b.txt |awk ‘($NF>1){print $6$7 ” ” $NF}’>c.txt
结果如下图
转载于:https://my.oschina.net/liuhaihua/blog/337751
awk分析nginx日志里面的接口响应时间相关推荐
- linux awk nginx日志分析,awk分析nginx日志中的网页响应时间
nginx日志可以十分方便的看到每一个请求的响应速度,通常我会用awk去分析这些请求耗时.通常nginx的log配置是这样的 log_format access_comment '$remote_ad ...
- 基于awk的nginx日志分析
基于awk的nginx日志分析 基于awk的nginx日志分析 定义 nginx日志 awk分析示例 基于awk的nginx日志分析 在系统调优的时候,经常要去分析nginx的请求日志,统计.分析各个 ...
- CentOS 7.2下ELK分析Nginx日志生产实战(高清多图)
注:本文系原创投稿 本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名 ...
- 使用GoAccess分析Nginx日志
下载 GoAccess 的源代码.编译和安装: http://www.goaccess.io/download # wget http://tar.goaccess.io/goaccess-0.9.6 ...
- elk平台分析nginx日志的基本搭建
一.elk套件介绍 ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products El ...
- Windows服务器流量异常排查分析(Nginx日志分析):Web Log Expert 和 GlassWire 的使用
最近某台阿里云服务器流量带宽突然超负荷运转,想了想,难道被攻击了?不应该会用户突然暴增啊!?于是开始排查流量来源. 首先,用 GlassWire 监听服务器的那个应用占用了大量的流量.GlassWir ...
- linux nginx 日志查看,查看nginx日志_Linux系统怎么分析Nginx日志
摘要 腾兴网为您分享:Linux系统怎么分析Nginx日志,追书神器,有信,虚拟机,天气预报等软件知识,以及云软件,东方财富股票软件,扑飞,名片扫描王,微信加人软件安卓,微主题,每日金股,电脑硬盘检测 ...
- python 正则分析nginx日志
有个需求要分析nginx日志,也懒得去研究logstach之类的开源工具,干脆直接写一个脚本,自己根据需求来实现: 先看日志格式:我们跟别人的不太一样,所以没办法了: 12.195.166.35 [1 ...
- python分析nginx日志
利用python脚本分析nginx日志内容,默认统计ip.访问url.状态,可以通过修改脚本统计分析其他字段. 一.脚本运行方式 python count_log.py -f med.xxxx.com ...
最新文章
- Linux下oracle 9i图文安装二
- python自学步骤-Python学习步骤如何安排?
- 烂泥:学习tomcat之通过shell批量管理多个tomcat
- 给创新工场求职者的一封信
- [转载] 新兵训练营系列课程——海量数据存储基础
- 一台电脑同时添加git和bitbucket两个网站的ssh key
- 通过接口操作MyBatis及数据库配置文件
- Python input 函数 - Python零基础入门教程
- Bootstrap 工具提示插件Tooltip的方法
- [抄]使用网页进行展示而非PPT
- html字体代码_第50天 HTML和css的学习
- DRV8833直流电机驱动模块代替 TB6612FNG电机驱动
- 网络编程 upd 发送接收数据
- linux系统外接硬盘_linux系统外接存储管理命令
- java实现滑动验证码
- 【GITEE】解决 Push rejected
- ipykernel_launcher.py: error: unrecognized arguments: -f C:\Users\ABC\AppData\Roaming\
- Virtualbox centos虚拟机网络互联总结
- 网管型工业交换机冗余功能介绍
- 软件测试--白盒测试、黑盒测试、α测试、β测试