python读取日志统计ip_如何通过命令行统计和排列访问日志里的ip数

以下的方式速度都会卡在sort上面，数量越多越麻烦。

Shell方法:grep -i -o -E -r -e "([0-9]{1,3}\.){3}[0-9]{1,3}" access.log | sort -n | uniq -c | sort -n

awk方法:

如果是accesslog 格式应该是固定的会简单些。因为awk做排序也比较的郁闷，所以暂时用sort吧。awk '{if ($1 ~ /[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/){ip[$1]++}}END{for(i in ip){print ip[i],"\t",i}}' | sort -n

如果是无序的没有规律的格查找ip，可以参考下面这段代码，可能还有需要优化的地方,像正则就不能够这样写。/[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/{ s = $0; idx = 1; for (;;) {idx = match(s, /[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/, a); if (idx == 0) {break;} seg[a[0]]++; s = substr(s, idx + 1);} }

END {

for (i in seg) {

print i"\t"seg[i];

}

Notice:对于量小的log以上的方法都可以，但是涉及到真的大的log，就会需要考虑其它的方式了。

python读取日志统计ip_如何通过命令行统计和排列访问日志里的ip数相关推荐

323、异常访问统计运维同学最近发现应用的访问日志有异常，需要分析下应用服务器是否被攻击了。
阿里上机笔试异常访问统计运维同学最近发现应用的访问日志有异常,需要分析下应用服务器是否被攻击了. 根据经验值:若一个IP单秒访问pv >= 1000,并且,持续大于等于5s,则认为该IP有攻 ...
Android日志[进阶篇]三-Logcat 命令行工具
Android日志[进阶篇]一-使用 Logcat 写入和查看日志 Android日志[进阶篇]二-分析堆栈轨迹(调试和外部堆栈) Android日志[进阶篇]三-Logcat命令行工具 Androi ...
渗透工具TPLogScan：ThinkPHP3和5日志扫描工具，提供命令行版和BurpSuite插件版，尽可能发掘网站日志信息
Git地址: r3change/TPLogScan: ThinkPHP全日志扫描工具,命令行版和BurpSuite插件版 (github.com) ThinkPHP3和5日志扫描工具,提供命令行版和B ...
Python 打造基于有道翻译的命令行翻译工具（命令行爱好者必备）
Python 打造基于有道翻译的命令行翻译工具(命令行爱好者必备) 之前基于百度写了一篇博文 Python 打造基于百度翻译的命令行翻译工具,本来这工具用得挺好的.但是没想到,近期处于不知道啥原因,不 ...
python读取日志统计ip_使用python脚本实现统计日志文件中的ip访问次数
使用python脚本实现统计日志文件中的ip访问次数,注意此脚本只适用ip在每行开头的日志文件,需要的朋友可以参考下适用的日志格式: 106.45.185.214 - - [06/Aug/2014: ...
代码行统计工具：根据命令行输入的指定目录及文件类型进行统计目录或单个文件的代码行数
#统计指定目录(count_path).指定文件类型文件(file_types)的代码量 import os def count_all_file_code(count_path,file_types ...
python 抓取实时公交_Python实现命令行监控北京实时公交之二
开头先放上效果展示在命令行输入 python bus.py -i,显示app基本信息,如下: 在命令行输入 python bus.py 438,显示北京438路公交车的位置,如下: 红色的B说明在梅 ...
爱奇艺实时项目统计第1 节技术点及互联网访问日志概述
1.需求说明今天到现在为止的每个类别的访问量今天到现在为止从搜索引擎引流过来的类别的访问量今天到现在为止每个栏目下面的销售额今天到现在为止每个省份的购买量 2.项目使用的技术点: 简述: ja ...
python获取输入数字_python获取从命令行输入数字的方法
本文实例讲述了python获取从命令行输入数字的方法.分享给大家供大家参考.具体如下: #---------------------------------------- # Name: numeri ...

python读取日志统计ip_如何通过命令行统计和排列访问日志里的ip数

python读取日志统计ip_如何通过命令行统计和排列访问日志里的ip数相关推荐

最新文章

热门文章