使用awk，sort和uniq从ATS访问日志中统计出异常链接域名的次数排名

在运维过程中，发现portal中出现流量异常曲线，

就从排查ATS的访问日志中的异常域名开始，下面是我截获的对应时段的访问日志截图

发现里面有502,403等异常响应，我们将这段访问日志文件记为exception_peak.log。采用下面的命令来过滤出502的访问记录，并剥离出对应的访问链接的host，统计指定时段中的该host出现次数，最后逆序排名。

cat exception_peak.log | grep ' 502 ' | awk -F '"' '{print $2}' | awk -F '/' '{print $3}' | sort | uniq -c | sort -nr > host_peak.log

这里说明如下：

grep ' 502 ' 只过滤出502的访问记录，

awk -F '"' '{print $2}'表示以双引号为分隔线，取第2段子域，也就是访问链接，

awk -F '/' '{print $3}'表示从访问链接中提取出host

sort | uniq -c 表示现将可能重复的行放到一起，再去掉重复行，并标注每行重复的次数

sort -nr 表示按重复次数逆序排名

这样处理的结果将会被重定向到一个名为 host_peak.log的日志文件中，它的内容如下

这就是我们想要的效果。

注意：如果采用下面的命令

cat exception_peak.log | grep ' 502 ' | awk -F '"' '{print $2}' | awk -F '/' '{print $3}' | awk 'a[$1]+=1;END{for(i in a){print a[i]" "i;}}' | sort -k1 -urn > host_peak.log

我们会发现有个小bug就是，数字ip的次数无法统计，参见下面的截图

另外，下面是可能需要用到的几个命令：

awk -F “/“ ‘{print $0}’
awk -F “/“ ‘{if ($1==502) print $2}’
awk -F “:“ ‘{print $1,$2}’

使用awk，sort和uniq从ATS访问日志中统计出异常链接域名的次数排名相关推荐

使用cat，awk和sort命令从nginx访问日志中统计user-agent类型
业务场景描述如下: 我有一个Nginx的web服务器,需要从统计日志中统计有哪些类型的设备终端和浏览器访问了我的网站. 访问日志中的每条记录是这样的: 使用下面的命令得到user-agent所在的字段 ...
在apache访问日志中统计统计前十名pv
通过访问日志,统计前十名的pv值 cat /var/log/httpd/access_log |grep html|sed 's/^.*GET//g'|sed 's/HTTP.*$//g'|sort| ...
awk命令过滤tomcat的访日日志中IP地址
1. 命令如下批量过滤日志文件,grep -v是要排除10网段开头的IP地址 sort会自动按ip排序 uniq -c去重并计数 sort -n 按数值从小到大排序 [root@linux-node ...
ATS自定义日志中的各字段解读
线上日志格式定义如下 <Format = "%<cqtq> %<ttms> %<pssc> %<sssc> [%<cqtt> ...
oracle 访问日志ip,怎么从访问日志中把ip提取出来
2020-04-21阅读(24) 本文主要为您介绍忘了自己电脑用户密码怎么办,内容包括我忘记密码了怎么办登陆不了了电脑育儿问答宝宝树,我的电脑用户名和密码忘记了怎么办,台式电脑用户名密码忘记了怎么办. ...
Apache访问日志详解
想要知道什么人在什么时候浏览了网站的哪些内容吗?查看Apache的访问日志就可以知道.访问日志是Apache的标准日志,本文详细解释了访问日志的内容以及相关选项的配置. 一.访问日志的格式 Apach ...
【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析...
[场景] 用户搭建网站会不断的产生访问日志(Nginx,Apache访问日志).为了从访问日志中挖掘出更多价值,本文主要阐述如果利用阿里云数加从沉睡中的访问日志中获取更有价值的数据,包括用于实时统计和 ...
SLB访问日志分析：基于客户端来源和HTTP状态码的实践
摘要: 阿里云负载均衡SLB可以对多台云服务器(ECS)进行流量分发,支持TCP的四层负载均衡和基于HTTP/HTTPS的七层负载均衡.使用SLB可以降低单台ECS异常时对业务的冲击,提升系统可用性. ...
NGINX访问日志和错误日志
Logs are very useful to monitor activities of any application apart from providing you with valuable ...

使用awk，sort和uniq从ATS访问日志中统计出异常链接域名的次数排名

使用awk，sort和uniq从ATS访问日志中统计出异常链接域名的次数排名相关推荐

最新文章

热门文章