shell进行nginx日志分析

shell进行Nginx日志分析

日志格式

 log_format combined_realip '$remote_addr $http_x_forwarded_for [$time_local]'' $host "$request_uri" $status'' "$http_referer" "$http_user_agent"';

日志条目

  95.213.177.126 - - [07/Jul/2019:13:17:30 +0800] "POST http://check.proxyradar.com/azenv.php?auth=156247664979&a=PSCN&i=2018476175&p=80 HTTP/1.1" 404 27 "http://best-proxies.ru/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)"

统计日PV量

 [root@shuaiaoli ~]# grep "07/Jul/2019" /usr/local/nginx/logs/access.log |wc -l
38

统计访问量最多的10个ip

 [root@shuaiaoli ~]# awk  '{print $1}' /usr/local/nginx/logs/access.log|sort -n |uniq -c |sort -nr |head -n10615 219.144.130.208271 80.82.70.187120 120.132.3.65102 5.39.67.1182 139.162.88.6357 163.177.13.243 95.213.177.12643 61.219.11.15341 95.213.177.12441 42.51.209.64[root@shuaiaoli ~]# awk '{ips[$1]++ } END{for( i in ips ){ print i,ips[i] }}' /usr/local/nginx/logs/access.log |sort -k2 -rn |head -n10
219.144.130.208 615
80.82.70.187 271
120.132.3.65 120
5.39.67.11 102
139.162.88.63 82
163.177.13.2 57
95.213.177.126 43
61.219.11.153 43
95.213.177.124 41
42.51.209.64 41

统计大于100次的IP

[root@shuaiaoli ~]# awk  '{print $1}' /usr/local/nginx/logs/access.log|sort -n |uniq -c |awk '{if ($1>100) {print $0}}'102 5.39.67.11271 80.82.70.187120 120.132.3.65615 219.144.130.208[root@shuaiaoli ~]# awk '{ips[$1]++ } END{for( i in ips ){ if (ips[i]>100) {print i,ips[i] }}}' /usr/local/nginx/logs/access.log |sort -k2 -rn |head -n10
219.144.130.208 615
80.82.70.187 271
120.132.3.65 120
5.39.67.11 102

统计前一分钟的PV量

[root@shuaiaoli ~]# data=$(date -d '1 minute' +%d/%b/%Y:%H:%M)
[root@shuaiaoli ~]# awk -v a=$data '$0 ~ a {i++} END {print i}' /usr/local/nginx/logs/access.log

shell进行nginx日志分析相关推荐

【Shell】Nginx日志分析
Nginx日志分析 192.168.220.1 - - [01/May/2022:08:46:16 +0800] "GET / HTTP/1.1" 304 0 "-&qu ...
每日一shell(八)nginx日志切割
nginx日志会随着访问量而变大,较大的日志会影响分析日志时对日志的分析和处理,我们可以使用shell对nginx日志进行定时分割,以周或者天,对于时间久的日志可以定时删除,减小磁盘的浪费代码: # ...
nginx日志分析脚本
#!/usr/bin/env bashecho "" echo " =================================================== ...
Nginx日志分析竟挖掘出来自全世界的攻击
Nginx日志分析竟挖掘出来自全世界的攻击引言关于脚本 Nginx日志格式攻击挖掘 1.针对NVMS-9000摄像头RCE漏洞的扫描 2.试图扫描rdp(远程桌面) 3.试图扫描路由器或摄像头物 ...
python nginx日志分析_Nginx日志分析及脚本编写
在我们日常的运维中,当Nginx服务器正常运行后,我们会经常密切关注Nginx访问日志的相关情况,发现有异常的日志信息需要进行及时处理. 那今天我将跟大家一起来研究和分析Nginx日志,nginx默认 ...
使用elk+redis搭建nginx日志分析平台（引）
http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...
ELK+redis搭建nginx日志分析平台
ELK+redis搭建nginx日志分析平台发表于 2015-08-19 | 分类于 Linux/Unix | ELK简介 ELKStack即Elasticsearch + Logs ...
SRE从踩坑到牛逼（二）利用Python进行Arcgis站点分析+Nginx日志分析
前面是日记,或者是牢骚吧就感觉挺可惜的,一月份的时候因为分析日志的需求,写过一个几十行的代码,能够做到Arcgis站点分析,并且录入到Excel,根据Arcgis站点信息进行日志分析的部分还没写,这 ...
Nginx日志分析系统——Elastic Stack的系列产品的使用
目录 1.Nginx日志分析系统 1.1.项目需求 2.部署安装Nginx 3.Beats 简介 4.Filebeat 4.1.架构 4.2.部署与运行 4.3.读取文件 4.4.自定义字段 4.5. ...

shell进行nginx日志分析

shell进行Nginx日志分析

shell进行nginx日志分析相关推荐

最新文章

热门文章