运用awk提取日志文件中的IP地址

在我们的日常工作中，可能会遇到各种不同的问题，有来自内部，有的来自外部。

以Nginx服务为例，服务上线之后可能会遭受非法的流量攻击，我们在配置Nginx服务时可以通过Nginx.conf配置文件中的http模块，来过滤那些高频访问服务的IP地址，将其输出到access.log文件中。

但是日志中的IP地址众多，我们该如何根据需要来提取这些IP地址呢，下面我就介绍一下使用awk提取IP地址的方法

需求：统计出日志文件中503次数最多的前三个 IP

首先，我们想要提取日志文件中的IP地址，就要知道日志文件的格式

可以看到IP地址是每一行的第一个字段，且需求是提取状态码为502的IP地址

cat access.log | awk '/503/ {a[$1]++} END {for (i in a)  printf("%d %s\n", a[i], i);}' | sort -nr| head -3

以IP地址作为数组的下标，数组保存IP地址出现的个数，最终输出数组的下标也就是IP地址，并根据出现次数进行排序，再输出前三。

运用awk提取日志文件中的IP地址相关推荐

python读取日志统计ip_使用python脚本实现统计日志文件中的ip访问次数
使用python脚本实现统计日志文件中的ip访问次数,注意此脚本只适用ip在每行开头的日志文件,需要的朋友可以参考下适用的日志格式: 106.45.185.214 - - [06/Aug/2014: ...
python使用正则表达式抽取文件中的IP地址
python使用正则表达式抽取文件中的IP地址 IP正则 r'(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' 有效IP ((25[0-5]|2[0-4][0-9]|[01] ...
linux awk 时间范围,如何用awk从日志文件中找到时间范围的记录
日志格式如下 2013/08/16 01:10:11.111 E12345678900-0 6513 123 0 IN OK() 0 0 0 ...
张坤 2012.5.4 egrep在文件中找IP地址
作者:2010级嵌入式张坤 [root@localhost 桌面]# cat aaa.txt 192.168.1.1 1234.234.04.08 123.1234.045.678 asdfasd ...
如何从 Apache 和 NGINX 服务器的日志文件中提取 IP 地址
作为系统管理员,您需要密切关注访问您网站的 IP 地址.服务器日志是此类信息的有用来源.它们包含您的服务器收到的每个请求的 IP 地址.日期时间.请求类型.URL.服务器响应等.在本文中,我们将了解如 ...
klg日志文件中提取RGBD图像数据
main函数本程序用于从klg日志文件中提取RGB图像和Depth图像信息,klg文件在ElasticFusion中被用于保存数据集. 涉及的相关开源代码如下: LogView mp3guy/Log ...
linux日志添加到文件,关于linux：将变量中的内容追加到日志文件中
我有一个脚本,并尝试将我的变量中的内容附加到.log文件. 我在另一篇文章中看到了(如何通过命令行将变量文本附加到文件的最后一行?),你可以使用echo"$(cat $ FILE)$ APP ...
Tips--利用shell脚本批量提取txt文件中任意字段
利用shell脚本批量提取txt文件中任意字段前言 0. 一个例子 1. cat命令 2. '|'符号与'>'符号 3. grep命令 4. awk命令前言对于测试中出现的log,我们经常 ...
jstack Dump日志文件中的线程状态
jstack Dump 日志文件中的线程状态 dump 文件里,值得关注的线程状态有: 死锁,Deadlock(重点关注) 执行中,Runnable 等待资源,Waiting on conditio ...

运用awk提取日志文件中的IP地址

运用awk提取日志文件中的IP地址相关推荐

最新文章

热门文章