1.uniq去重命令讲解

阅读目录

uniq命令：

uniq命令：
常见参数：
-c,–count *****
在每行旁边显示改行重复出现的次数
-d,–repeated
仅显示重复出现的行，2次或2次以上的行，默认的去重包含1次。

例子：
a.只对相邻的相同行内容去重。

[root@nfs-server test]# cat test.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@nfs-server test]# uniq test.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
b.sort命令让重复的行相邻
[root@nfs-server test]# sort test.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
10.0.0.9
c.先用sort命令将重复的行相邻，接着使用uniq去重
[root@nfs-server test]# sort test.txt|uniq
10.0.0.7
10.0.0.8
10.0.0.9
[root@nfs-server test]#
d.将两个命令整合起来，可使用sort -u代替
[root@nfs-server test]# sort -u test.txt
10.0.0.7
10.0.0.8
10.0.0.9
e.去重计数
[root@nfs-server test]# sort test.txt|uniq -c
210.0.0.7
310.0.0.8
210.0.0.9
uniq功能：
-c，–count 去重计数
企业案例：
考试题：处理以下文件内容，将域名取出并根据域名进行计数排序处理：(百度和SOHU面试题)
test.log
http://www.judong.org/index.html
http://www.judong.org/1.html
http://post.judong.org/index.html
http://mp3.judong.org/index.html
http://www.judong.org/3.html
http://post.judong.org/2.html
解答：
法1：
[root@nfs-server test]# sort test.log|awk -F “[?/]+”’{print $2}’|uniq -c
1 mp3.judong.org
2 post.judong.org
3 www.judong.org
法2：
[root@nfs-server test]# awk -F /’{print $3}’ test.log|sort
mp3.judong.org
post.judong.org
post.judong.org
www.judong.org
www.judong.org
www.judong.org
[root@nfs-server test]# awk -F /’{print $3}’ test.log|sort|uniq -c
1 mp3.judong.org
2 post.judong.org
3 www.judong.org
[root@nfs-server test]#
让降序排列：
[root@nfs-server test]# awk -F /’{print $3}’ test.log|sort|uniq -c|sort -r ##-r,表示倒序排列
3 www.judong.org
2 post.judong.org
1 mp3.judong.org
[root@nfs-server test]#
法3：
cut 切割，简单的取列命令
-d：指定分隔符
-f数字:表示取第几列。-f3,6
-c按字符取
[root@nfs-server test]# cut -d /-f3 test.log|sort -r|uniq -c
3 www.judong.org
2 post.judong.org
1 mp3.judong.org
[root@nfs-server test]#

1.uniq去重命令讲解相关推荐

linux 查询日志去重,linux命令（12）uniq去重
实例详细说明linux下去除重复行命令uniq 一,uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个 ...
Linux笔记（shell特殊符号，sort排序，wc统计，uniq去重，tee，tr，split）
一.shell特殊符号 * 任意个任意字符 ? 任意一个字符 # 注释字符 \ 脱义字符例如: [root@localhost ~]# a=2 [root@localhost ~]# b=3 ...
linux sort 多列去重排序,【Linux】sort排序、uniq去重、wc统计
文章目录一.sort 排序 1.语法 2.参数说明 3.实例二.uniq 去重 1.uniq使用 2.sort和uniq去重结果对比三.wc 统计一.sort 排序 sort命令用于对文本文 ...
Linux中uniq去重以及对两个文件取交集，并集，差集
uniq 前言很多时候我们需要对数据去重,不管是少量数据还是大量数据,写代码进行去重终究没有使用系统功能直接操作文件方便,所以本文就介绍了一些关于uniq的使用方法 uniq单独使用 uniq配合s ...
java如何监控cpu耗时_超级干货：3个性能监控和优化命令讲解
原标题:超级干货:3个性能监控和优化命令讲解小编为大家整理出了三个有关性能监控和优化命令详细讲解,别看只有三个,但不影响他噎啊,本篇文章很长,涉及top命令.free命令和 vmstat命令,真的是 ...
Linux 基础命令讲解--加密解密
Linux 基础命令讲解--加密解密加密文件: 1.MD5 echo -n "string" | openssl md5 #加密字符串 openssl md5 -in tes ...
dos （DOS命令讲解）
dos (DOS命令讲解) 我们使用计算机接触最频繁的就是DOS.DOS是英文Disk Operating System的缩写,意思是"磁盘操作系统",顾名思义,DOS主要是一种面 ...
Linux基础入门之内外命令讲解篇
Linux基础入门篇--之内外命令讲解 1.基础命令命令使用方法 cat /etc/motd 设置用户成功登录系统后显示的提示信息.比如欢迎语! cat /etc/issue 设置用户成功登录系统 ...
ai描边工具怎么打开_AI描边工具命令讲解，教你ai描边功能实用技巧
AI描边工具命令讲解,教你ai描边功能实用技巧在我们的ai设计工具里,描边工具组中,可以通过改工具组中的功能设置来改变我们的描边造型,Illustrator中经常使用描边工具,这也是比较基础的工具, ...

1.uniq去重命令讲解

1.uniq去重命令讲解相关推荐

最新文章

热门文章