2019独角兽企业重金招聘Python工程师标准>>>

最近,有客户反应客户端卡,老板集合技术人员开会讨论,找出慢的原因,由此产生了分析nginx响应时间,由于线上环境nginx日志格式带上了引号,处理起来有点麻烦,以下是处理过程

一、nginx日志格式

log_format main ‘$remote_addr – $remote_user [$time_iso8601] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for” ‘
‘ “$upstream_addr” “$upstream_status” “$request_time” ‘;

二、nginx访问日志(/var/log/nginx)

12.124.127.44 – – [29/Jul/2014:20:54:20 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.001”
115.29.113.101 – – [29/Jul/2014:20:54:22 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.005”
112.124.127.53 – – [29/Jul/2014:20:56:49 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
112.124.127.44 – – [29/Jul/2014:20:59:20 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”
115.29.113.101 – – [29/Jul/2014:20:59:22 +0800] “GET / HTTP/1.1″ 200 211 “-” “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)” “-” “127.0.0.1:8081″ “200” “0.002”

三、分析nginx日志

3.1打印响应时间并且去除引号

cat website.access.log| awk ‘{print $(NF)}’ | awk -F “\”” ‘{print $2′}>a.txt

3.2合并文件,将时间重新补上去

paste -d ” ” website.access.log  a.txt > b.txt

3.3查找响应时间大于1秒的url

cat b.txt |awk ‘($NF>1){print $6$7 ” ” $NF}’>c.txt

结果如下图

声明: 本文采用  BY-NC-SA 协议进行授权. 转载请注明转自:  awk分析nginx日志里面的接口响应时间
标签:  awk,  cat,  Nginx

转载于:https://my.oschina.net/liuhaihua/blog/337751

awk分析nginx日志里面的接口响应时间相关推荐

  1. linux awk nginx日志分析,awk分析nginx日志中的网页响应时间

    nginx日志可以十分方便的看到每一个请求的响应速度,通常我会用awk去分析这些请求耗时.通常nginx的log配置是这样的 log_format access_comment '$remote_ad ...

  2. 基于awk的nginx日志分析

    基于awk的nginx日志分析 基于awk的nginx日志分析 定义 nginx日志 awk分析示例 基于awk的nginx日志分析 在系统调优的时候,经常要去分析nginx的请求日志,统计.分析各个 ...

  3. CentOS 7.2下ELK分析Nginx日志生产实战(高清多图)

    注:本文系原创投稿 本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名 ...

  4. 使用GoAccess分析Nginx日志

    下载 GoAccess 的源代码.编译和安装: http://www.goaccess.io/download # wget http://tar.goaccess.io/goaccess-0.9.6 ...

  5. elk平台分析nginx日志的基本搭建

    一.elk套件介绍 ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products El ...

  6. Windows服务器流量异常排查分析(Nginx日志分析):Web Log Expert 和 GlassWire 的使用

    最近某台阿里云服务器流量带宽突然超负荷运转,想了想,难道被攻击了?不应该会用户突然暴增啊!?于是开始排查流量来源. 首先,用 GlassWire 监听服务器的那个应用占用了大量的流量.GlassWir ...

  7. linux nginx 日志查看,查看nginx日志_Linux系统怎么分析Nginx日志

    摘要 腾兴网为您分享:Linux系统怎么分析Nginx日志,追书神器,有信,虚拟机,天气预报等软件知识,以及云软件,东方财富股票软件,扑飞,名片扫描王,微信加人软件安卓,微主题,每日金股,电脑硬盘检测 ...

  8. python 正则分析nginx日志

    有个需求要分析nginx日志,也懒得去研究logstach之类的开源工具,干脆直接写一个脚本,自己根据需求来实现: 先看日志格式:我们跟别人的不太一样,所以没办法了: 12.195.166.35 [1 ...

  9. python分析nginx日志

    利用python脚本分析nginx日志内容,默认统计ip.访问url.状态,可以通过修改脚本统计分析其他字段. 一.脚本运行方式 python count_log.py -f med.xxxx.com ...

最新文章

  1. Linux下oracle 9i图文安装二
  2. python自学步骤-Python学习步骤如何安排?
  3. 烂泥:学习tomcat之通过shell批量管理多个tomcat
  4. 给创新工场求职者的一封信
  5. [转载] 新兵训练营系列课程——海量数据存储基础
  6. 一台电脑同时添加git和bitbucket两个网站的ssh key
  7. 通过接口操作MyBatis及数据库配置文件
  8. Python input 函数 - Python零基础入门教程
  9. Bootstrap 工具提示插件Tooltip的方法
  10. [抄]使用网页进行展示而非PPT
  11. html字体代码_第50天 HTML和css的学习
  12. DRV8833直流电机驱动模块代替 TB6612FNG电机驱动
  13. 网络编程 upd 发送接收数据
  14. linux系统外接硬盘_linux系统外接存储管理命令
  15. java实现滑动验证码
  16. 【GITEE】解决 Push rejected
  17. ipykernel_launcher.py: error: unrecognized arguments: -f C:\Users\ABC\AppData\Roaming\
  18. Virtualbox centos虚拟机网络互联总结
  19. 网管型工业交换机冗余功能介绍
  20. 软件测试--白盒测试、黑盒测试、α测试、β测试

热门文章

  1. html rotate()函数,CSS rotate()用法及代码示例
  2. 在Java内部类中使用外部类的成员方法以及成员变量
  3. 在 Java CAPS 中使用 LDAP
  4. python使用openpyxl操作excel总结
  5. 【Android开发】毛玻璃效果
  6. LibreOj 6279数列分块入门 3 练习了一下set
  7. Python入门学习笔记11(静态方法、类方法与属性方法)
  8. Fragment生命周期与Fragment执行hide、show后的生命周期探讨
  9. String和enum的互相转换
  10. Androi App缓存管理