一、文本处理

1、按行提取关键字频次(如取第5列)

awk 'BEGIN{FS="|"} {a[$5]+=1;} END {for(i in a) print i ":" a[i];}' OPT.ForumLogicNewServer_action_20161107.log | sort -nrk 2 -t ':'

2、日志用户每分钟访问量统计

这里我们统计日志中“getThreadList”接口的流量每分钟到达率。

awk 'BEGIN{FS="|"} $5=="getThreadList" {a[substr($1,0,16)]+=1;} END{for(i in a) print i "\t" a[i]}' OPT.ForumLogicNewServer_action_20161107.log | sort > getThreadList.txt

3、找一个目录下所有的二进制文件

ls -lrt | awk '{print $9}' | xargs file | grep ELF | awk '{print $1}' | tr -d ':'

4、 grep '2016-11-21 22:05' MTT.IDCenterServer_IDCenterServer_20161121.log | grep 'UserInfo' | awk 'BEGIN{FS="|"} {print $6}' | uniq | wc -l

转载于:https://www.cnblogs.com/dunken/p/6367214.html

shell awk实战相关推荐

  1. Liunx下的日志清理shell脚本实战之日志备份

    Liunx下的日志清理shell脚本实战 一.脚本实现功能以及要求 二.shell脚本内容 一.脚本实现功能以及要求 二.shell脚本内容 一.脚本实现功能以及要求 1.日志备份目录,将日志备份到/ ...

  2. shell 脚本实战 五

    摘自 shell脚本实战 第二版 第四章 Unix调校 脚本27 显示带有行号的文件 在显示文件时添加行号有很多种方法,其中一些实现起来相当简洁.例如,下面是 awk 的 做法: awk '{prin ...

  3. shell 脚本实战 三

    摘自 shell脚本实战 第二版 第二章 改进用户命令 脚本14 格式化过长的行 要是够幸运的话,你所用的 Unix 系统中已经包含了 fmt 命令,如果你日常从事文本工作, 那么这个命令非常有用.不 ...

  4. 循序渐进学运维-shell脚本实战专栏

    我是互联网老辛,关注我吧,给自己每天的进步找一个机会和理由,不要被无效信息淹没,免除知识焦虑 前言 shell脚本大家要做为重点来学习,shell写的好,可以不学Python,一样拿高薪: shell ...

  5. Linux的shell脚本实战之while循环

    Linux的shell脚本实战之while循环 一.使用while循环计算 1.计算从1加到100之和 2.计算1-2+3-4+5....-100的值 二.while语句的三种方式 1.通过输入重定向 ...

  6. Shell脚本实战之文件批量创建和修改

    Shell脚本实战之文件批量创建和修改 一.脚本要求 二.脚本内容 三.脚本运行结果 一.脚本要求 1.所有操作在/python下 2.批量创建12个以py后缀结尾的文件,文件名中必须包含_hcip, ...

  7. Linux下Shell脚本实战之监测磁盘空间

    Linux下Shell脚本实战之监测磁盘空间 一.脚本目的及要求 二.脚本内容 三.运行脚本 一.脚本目的及要求 (1) 监控/home下每各个用户目录的占用磁盘大小 (2) 监控/var/log下前 ...

  8. Linux下的shell脚本实战之用户创建

    Linux下的shell脚本实战之用户创建 一.脚本要求 二.脚本内容 三.运行脚本 一.脚本要求 二.脚本内容 三.运行脚本 一.脚本要求 1.该脚本提示用户创建用户名和密码 2.判断输入的用户名是 ...

  9. Linux下shell脚本实战之批量新建用户

    Linux下shell脚本实战之批量新建用户 一.脚本要求 二.脚本内容 三.运行脚本 一.脚本要求 二.脚本内容 三.运行脚本 一.脚本要求 1.使用提供的user.txt用户列表 2.批量新建us ...

最新文章

  1. 从生成对抗网络到更自动化的人工智能
  2. .NET程序在Linux容器中的演变
  3. PyTorch C++ API libtorch 简介
  4. AndroidStudio安卓原生开发_一个activity中引用多个fragment_以及不同activity中复用某个fragment---Android原生开发工作笔记117
  5. python代码读取外部变量_在Python中从外部文件中写入和读取特定的变量
  6. python作用域链_Python 中的作用域准则
  7. puppet经典应用
  8. ActiveXObject ADODB.Stream封装
  9. atitit 部门日常工作流程体系 日常日程表 日常工作内容列表清单.docx
  10. 3个高级Excel图表技巧
  11. java从入门到精通6
  12. 计算机专业职业规划范文800字,计算机专业学生职业生涯规划书
  13. java转换字符串编码格式_java转换字符串编码格式的方法
  14. 电子警察的系统结构和功能设计
  15. PAT a1128
  16. ODCC2017 浪潮展示多款JDM创新成果
  17. oracle的逻辑存储结构中由大到小的顺序,16.2 数据库逻辑存储结构
  18. Sklearn-GBDT(GradientBoostingDecisionTree)梯度提升树
  19. 疫情影响下的物联网发展趋势
  20. 统计学习模型——决策树

热门文章

  1. oracle 复制 mysql_MySQL与Oracle之间互相拷贝数据的Java程序
  2. zuul两大作用_SpringCloud微服务(05):Zuul组件,实现路由网关控制
  3. api 创建zookeeper客户端_zookeeper分布式锁原理及实现
  4. monkey命令_何小伟:Monkey与MonkeyRunner区别
  5. html 甘特图_甘特图该如何部署
  6. jsp 插入mysql乱码_JSP MySQL插入数据时出现中文乱码问题的解决方法
  7. dr优先级默认_当配置一个CISCO的路由器时,缺省的DR和BDR优先级是()。
  8. java process exit_Java Process.exitValue()中值的含义是什么?
  9. centos设置mysql为系统服务_CentOS系统如何设置Apache和MYSQL服务开机自动运行
  10. 机器学习四剑客3——Pandas