SHELL 分析日志

作者:lvtao发布于:2013-7-3 14:58 Wednesday 分类:工具源码

列出当天访问次数最多的IP

命令:cut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20
原理:
       cut
       -d, --delimiter=DELIM
              use DELIM instead of TAB for field delimiter
              表示用-分割,然后-f 1 
       -f, --fields=LIST
              select only these fields;  also print any line that contains  no
              delimiter character, unless the -s option is specified
           表示打印第一部分,就是ip
 uniq 是将重复行去掉, -c表示前面前面加上数目,
       sort -rn 就是按照数字从大到小排序,
       head -20取前面20行
       
最后打印的结果大概是这样:
   217 192.114.71.13
   116 124.90.132.65
   108 192.114.71.13
   102 194.19.140.96
   101 217.70.34.173
   100 219.235.240.36

以下是其他一些分析日志的shell用法:

1、查看当天有多少个IP访问:
awk '{print $1}' log_file|sort|uniq|wc -l2、查看某一个页面被访问的次数;
grep "/index.php" log_file | wc -l3、查看每一个IP访问了多少个页面:
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file4、将每个IP访问的页面数进行从小到大排序:
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n5、查看某一个IP访问了哪些页面:
grep ^111.111.111.111 log_file| awk '{print $1,$7}'6、去掉搜索引擎统计当天的页面:
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l7、查看2009年6月21日14时这一个小时内有多少IP访问:awk '{print $4,$1}' log_file | grep 21/Jun/2009:14 | awk '{print $2}'| sort | uniq | wc -l

SHELL 分析 列出当天访问次数最多的IP相关推荐

  1. 从1亿个ip中找出访问次数最多的IP

    看了教你如何迅速秒杀掉:99%的海量数据处理面试题一文,的确是挺有收获的,特别是对这种海量数据的处理,的确是有了一个挺清晰的思路,特别感谢原文博主July. 处理海量数据问题存在的原因就在于1)数据量 ...

  2. 关于某日访问次数最多的IP的topK问题的三种解法

    题目描述 在july大神的博客中,看到这样两道题: 1. 海量日志数据,提取出某日访问百度次数最多的那个IP. 2. 假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复 ...

  3. shell最大出现和连续出现次数_shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询)...

    当服务器压力比较大,跑起来很费力时候.我们经常做站点页面优化,会去查找那些页面访问次数比较多,而且比较费时. 找到那些访问次数高,并且比较耗时的地址,就行相关优化,会取得立竿见影的效果的. 下面是我在 ...

  4. shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询)

    当服务器压力比较大,跑起来很费力时候.我们经常做站点页面优化,会去查找那些页面访问次数比较多,而且比较费时. 找到那些访问次数高,并且比较耗时的地址,就行相关优化,会取得立竿见影的效果的. 下面是我在 ...

  5. ip访问次数统计 nginx_分析Nginx 5分钟内的 日志 然后统计出 访问次数最多的ip 地址 和次数...

    #!/bin/bash #author: linuxhub.org #取出nginx五分钟内的日志 #Nginx日志格式: #if [ -z $1 ];then #echo "请在脚本后面加 ...

  6. Spark的实战题目——寻找5亿次访问中,访问次数最多的人

    场景描述:这是一个Spark的实战题目,也是在面试中经常出现的一类题目. 问题描述 对于一个大型网站,用户访问量尝尝高达数十亿.对于数十亿是一个什么样的概念,我们这里可以简单的计算一下.对于一个用户, ...

  7. Google Analytics(分析)如何计算访问次数

    "访问"和"会话"这两个术语的意思相似,有时可以互换使用. 此信息仅适用于传统Google Analytics(分析)JavaScript (ga.js).查看 ...

  8. linux 统计日志最多的ip,统计nginx日志里访问次数最多的前十个IP

    Jenkins配置自动发送邮件,成功! Jenkins自动发送邮件配置: 打开"系统管理"--"系统设置" 在"Jenkins Location&qu ...

  9. 统计Apache或nginx日志里访问次数最多的前十个IP

    来源:http://www.07net01.com/2015/08/914079.html nginx awk '{print $1}' urlogfile | sort | uniq -c | so ...

最新文章

  1. 机械臂底层通信协议说明
  2. 在C#中使用官方驱动操作MongoDB
  3. 为什么人们爱听有声书?
  4. LeetCode 2120. 执行所有后缀指令(模拟)
  5. 自动初始化 git Bash脚本
  6. vue $emit子组件传出多个参数,如何在父组件中在接收所有参数的同时添加自定义参数...
  7. Eigen教程(5)
  8. java自定义生成js代码_基于JavaScript的代码自动生成工具
  9. 鲁棒控制器设计方法(systune,hinfsyn,musyn...)
  10. dell电脑如何安装ubuntu系统_戴尔T630安装Ubuntu操作系统及Gaussian 09
  11. 微信小程序汇率计算界面
  12. 拼字游戏 html5,拼字游戏攻略
  13. 防火墙的一些主流技术
  14. css3禅意花园脚本_如何创建无脚本CSS3工具提示
  15. TensorFlow发布Eager,便于Debug!
  16. jar包本地能启动但不能在服务器上启动
  17. tidb和tbase的聚合函数算法
  18. 5G消息(RCS),到底是什么?
  19. 关于抽象类说法以下哪些是正确的?
  20. 【Colab】Colab使用教程(跑本地文件)

热门文章

  1. linux C/C++内存检测
  2. Hadoop HBase
  3. 对象池common-pool2源码分析之对象状态
  4. python版本的快速排序
  5. 很多中小企业都在用的3款开源软件被曝多个漏洞
  6. 谷歌 Compute Engine 的虚拟机曝0day未修复,可遭接管
  7. 又一起供应链攻击现身?投毒 Gigaset 更新,在手机注入恶意软件
  8. 无法检测的新型 Linux 恶意软件利用 Dogecoin API 攻击 Docker 服务器
  9. 计算机网络基础知识 帮助学习网络管理的初学者快速了解网络管理的初步结构知识...
  10. 6. Observable 和 数组的区别