查询指定关键词行数

sudo cat nohup.out | grep -E "POST|GET" | wc  -l

统计PV,UV数

统计所有的PV数

cat access.log | wc -l

统计当天的PV数

cat access.log | sed -n /`date "+%d\/%b\/%Y"`/p | wc -l

统计指定某一天的PV数

cat access.log | sed -n '/20\/Aug\/2019/p' | wc -l

统计指定某一天访问IP统计UV

cat access.log | grep "07/Apr/2019:0[4-5]" | awk '{print $1}' access.log|sort | uniq -c |wc -l

IP相关统计

统计IP访问量（独立ip访问数量）

awk '{print $1}' access.log | sort -n | uniq | wc -l

查看某一时间段的IP访问量(4-5点)

grep "07/Apr/2019:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l

查看访问最频繁的前100个IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100

查看访问100次以上的IP

awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

查询某个IP的详细访问情况,按访问频率排序

grep '127.0.01' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

页面访问统计

查看访问最频的页面(TOP100)

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

查看访问最频的页面([排除php页面】(TOP100)

grep -v ".php"  access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100

查询访问最频繁的URL

awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more

查看页面访问次数超过100次的页面

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

查看最近1000条记录，访问量最高的页面

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

每秒每分钟每小时请求量统计

统计每秒的请求数,top100的时间点(精确到秒)

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100

统计每分钟的请求数,top100的时间点(精确到分钟)

awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100

每小时的请求数,top100的时间点(精确到小时)

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100

性能分析

在nginx log中最后一个字段加入$request_time

列出传输时间超过 3 秒的页面，显示前20条

cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

蜘蛛抓取统计

统计蜘蛛抓取次数

grep 'Baiduspider' access.log |wc -l

统计蜘蛛抓取404的次数

grep 'Baiduspider' access.log |grep '404' | wc -l

TCP连接统计

查看当前TCP连接数

netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l

用tcpdump嗅探80端口的访问看看谁最高

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr

参考链接：
nginx日志统计分析的相关常用命令：https://www.jianshu.com/p/8ed6141a68a3

nginx日志统计分析的相关常用命相关推荐

nginx日志统计分析自动报表工具goaccess(推荐)
nginx日志统计分析自动报表工具goaccess(推荐) 官网: https://goaccess.io/download 源码 https://github.com/opensourceteams ...
nginx日志统计分析
nginx日志分析常用命令,包括IP相关统计.页面访问统计.性能分析.蜘蛛抓取统计.TCP连接统计等相关命令的总结 1. IP相关统计 1.1 ip访问量统计 awk '{print $1}' acc ...
linux nginx 日志查看,查看nginx日志_Linux系统怎么分析Nginx日志
摘要腾兴网为您分享:Linux系统怎么分析Nginx日志,追书神器,有信,虚拟机,天气预报等软件知识,以及云软件,东方财富股票软件,扑飞,名片扫描王,微信加人软件安卓,微主题,每日金股,电脑硬盘检测 ...
log nginx 客户端请求大小_后端实践：Nginx日志配置（超详细）
前言设置access_log语法作用域基本用法使用log_format自定义日志格式语法设置error_log语法基本用法 open_log_file_cache语法基本用法总结前言 ...
Nginx日志配置详解
前言 Nginx日志对于统计.系统服务排错很有用.Nginx日志主要分为两种:access_log(访问日志)和error_log(错误日志).通过访问日志我们可以得到用户的IP地址.浏览器的信息,请 ...
Nginx工作原理及相关介绍
Nginx工作原理及相关介绍一.Nginx工作原理与模块介绍 1.Nginx基本工作原理 NGINX以高性能的负载均衡器,缓存,和web服务器闻名.Nginx由内核和模块组成,其中,内核的设计非常微 ...
Nginx 日志配置实践
前言 Nginx日志对于统计.系统服务排错很有用. Nginx日志主要分为两种:access_log(访问日志)和error_log(错误日志).通过访问日志我们可以得到用户的IP地址.浏览器的信息, ...
Nginx使用场景及相关配置
Nginx使用场景及相关配置 1 基本配置介绍 1.1 配置文件结构 1.2 各配置块说明 2 nginx常用命令 2.1常用命令 2.2 详解及示例 2.2.1 验证配置是否正确 2.2.2 查看N ...
Nginx日志配置、错误界面配置、流量控制第九天
目录 nginx日志配置 nginx日志介绍 access.log error.log open_log_file_cache rewrite.log nginx的日志轮转 nginx错误界面配置 n ...

nginx日志统计分析的相关常用命