一、环境介绍

二、目的及要求

三、实际操作

一、环境介绍
1.linux版本为RHEL8.0版本
2.使用权限为root账号权限

二、目的及要求
1.读取记录的ip字段和id字段
2.按ip进行排序
3.使用uniq统计重复ip

三、实际操作

1.所要操作的文本为weblog.txt

[root@control data]# cat weblog.txt
10:11 201.23.25.145 31312424
10:13 204.140.24.40 39819083
10:20 100.201.13.11 30132492
10:21 201.23.25.145 31312424
10:24 200.11.13.45  12330909
10:30 100.201.13.11 30132492
10:40 219.89.13.21 31108972
10:43 204.140.24.40 39819083
10:45 219.89.13.21  31108972
10:47 100.201.13.11 30132492
10:48 201.23.25.145 31312424
10:50 219.89.13.21  31108972
10:51 49.111.201.33 23132454
10:52 201.23.25.145 31312424

2.取出ip及ip字段

[root@control data]# cut -d ' ' -f 2,3 weblog.txt
201.23.25.145 31312424
204.140.24.40 39819083
100.201.13.11 30132492
201.23.25.145 31312424
200.11.13.45 12330909
100.201.13.11 30132492
219.89.13.21 31108972
204.140.24.40 39819083
219.89.13.21 31108972
100.201.13.11 30132492
201.23.25.145 31312424
219.89.13.21 31108972
49.111.201.33 23132454
201.23.25.145 31312424

3.按记录将ip排序

[root@control data]# cut -d ' ' -f 2,3 weblog.txt |sort
100.201.13.11 30132492
100.201.13.11 30132492
100.201.13.11 30132492
200.11.13.45 12330909
201.23.25.145 31312424
201.23.25.145 31312424
201.23.25.145 31312424
201.23.25.145 31312424
204.140.24.40 39819083
204.140.24.40 39819083
219.89.13.21 31108972
219.89.13.21 31108972
219.89.13.21 31108972
49.111.201.33 23132454

4.使用uniq统计重复ip

[root@control data]# cut -d ' ' -f 2,3 weblog.txt |sort |uniq -c3 100.201.13.11 301324921 200.11.13.45 123309094 201.23.25.145 313124242 204.140.24.40 398190833 219.89.13.21 311089721 49.111.201.33 23132454

5.按访问次数排序

[root@control data]# cut -d ' ' -f 2,3 weblog.txt |sort |uniq -c |sort -r4 201.23.25.145 313124243 219.89.13.21 311089723 100.201.13.11 301324922 204.140.24.40 398190831 49.111.201.33 231324541 200.11.13.45 12330909

6.将重复ip数放在第三列

[root@control data]# cut -d ' ' -f 2,3 weblog.txt |sort |uniq -c |sort -r|awk '{print $2,$3,$1}'
201.23.25.145 31312424 4
219.89.13.21 31108972 3
100.201.13.11 30132492 3
204.140.24.40 39819083 2
49.111.201.33 23132454 1
200.11.13.45 12330909 1

Linux的文本字段统计方法相关推荐

教你一招Linux下文本比对方法
我们在写代码的过程中,免不了会对代码进行一些修修改改.但经常会出现改着改着,就不知道改完后与源文件的差异是怎样的.这里,我们就需要一个文本比对工具来进行文本比对. 有经验的程序员都知道,Windows ...
linux 进程流量统计,Linux进程网络流量统计方法及实现
1 前言在某些应用安全场景须要结合进程级网络链接.流入流出流量等数据直接分析出进程的异常.例如,在内网主机上是否存在持续恶意外传敏感数据的现象.在网络监控时发现服务器大量带宽被占用但不清楚由系统具体 ...
Linux进程网络流量统计方法及实现
1 前言在某些应用安全场景需要结合进程级网络连接.流入流出流量等数据直接分析出进程的异常.例如,在内网主机上是否存在持续恶意外传敏感数据的现象.在网络监控时发现服务器大量带宽被占用但不清楚由系统具体 ...
linux 物理内存统计,说说free命令 + Linux可用内存统计方法
关键在于两个字段,buffers和cached. 你经常会发现Linux系统用了一段时间后,内存所剩无几,free命令,一看,内存全跑到 buffers和cached里面了:这个现象是正常的.访问过的 ...
Linux系统文本三剑客之grep使用方法
Linux系统文本三剑客之grep使用方法一.grep介绍二.grep的常用选项三.grep的日常用法 1.过滤目录下以.conf结尾的文件中含root的文件 2.查找目录下所有文件包含koel ...
linux shell find depth,搞定 Linux Shell 文本处理工具，看完这篇集锦就够了
原标题:搞定 Linux Shell 文本处理工具,看完这篇集锦就够了 Linux Shell是一种基本功,由于怪异的语法加之较差的可读性,通常被Python等脚本代替.既然是基本功,那就需要掌握,毕 ...
linux隔行打印文本,详解正则表达式及Linux三大文本处理工具
grep.sed和awk都是文本处理工具,虽然都是文本处理工具但却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了. 一.正则表达式 1.匹配字符的类型 [ ...
Linux Shell 文本处理工具集锦 zz
内容目录: find 文件查找 grep 文本搜索 xargs 命令行参数转换 sort 排序 uniq 消除重复行用tr进行转换 cut 按列切分文本 paste 按列拼接文本 wc 统计行和字符 ...
python哈姆雷特词频统计_python—文本词频统计哈姆雷特 txt 下载
原博文 2020-05-13 15:49 − 文本词频统计 -- Hamlet Hamlet下载链接:https://pan.baidu.com/s/1Is2mBAED57i6nI38lcnXAA ...

Linux的文本字段统计方法

Linux的文本字段统计方法

一、环境介绍

二、目的及要求

三、实际操作

Linux的文本字段统计方法相关推荐

最新文章

热门文章