【Linux】一步一步学Linux—

00. 目录

文章目录

00. 目录
01. 命令概述
02. 命令格式
03. 常用选项
04. 参考示例
05. 附录

01. 命令概述

uniq - 删除排序文件中的重复行

uniq命令用于报告或忽略文件中的重复行，一般与sort命令结合使用。

uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。

我们应当注意的是，它和sort的区别，sort只要有重复行，它就去除，而uniq重复行必须要连续，也可以用它忽略文件中的重复行。

02. 命令格式

用法：uniq [选项]... [文件]

03. 常用选项

从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。不附加任何选项时匹配行将在首次出现处被合并。长选项必须使用的参数对于短选项时也是必需使用的。-c, --count           在每行前加上表示相应行目出现次数的前缀编号-d, --repeated        只输出重复的行-D, --all-repeated[=delimit-method    显示所有重复的行delimit-method={none(default),prepend,separate}以空行为界限-f, --skip-fields=N   比较时跳过前N 列-i, --ignore-case     在比较的时候不区分大小写-s, --skip-chars=N    比较时跳过前N 个字符-u, --unique          只显示唯一的行-z, --zero-terminated 使用'\0'作为行结束符，而不是新换行-w, --check-chars=N   对每行第N 个字符以后的内容不作对照--help            显示此帮助信息并退出--version         显示版本信息并退出若域中为先空字符(通常包括空格以及制表符)，然后非空字符，域中字符前的空字符将被跳过。提示：uniq 不会检查重复的行，除非它们是相邻的行。
如果您想先对输入排序，使用没有uniq 的"sort -u"。
同时，比较服从"LC_COLLATE" 变量所指定的规则。

04. 参考示例

4.1 忽略文件中的重复行

[deng@localhost test]$ cat txt
1111
1111
2222
2222
1111
2222
3333
4444
5555
[deng@localhost test]$ uniq  txt
1111
2222
1111
2222
3333
4444
5555
[deng@localhost test]$

4.2 统计各行在文件中出现的次数

[deng@localhost test]$ sort txt | uniq -c 3 11113 22221 33331 44441 5555
[deng@localhost test]$

4.3 只输出重复的行

[deng@localhost test]$ sort txt | uniq -d
1111
2222
[deng@localhost test]$

4.4 显示所有重复的行

[deng@localhost test]$ sort txt | uniq -D
1111
1111
1111
2222
2222
2222
[deng@localhost test]$

4.5 只显示唯一的行

[deng@localhost test]$ sort txt | uniq -u
3333
4444
5555
[deng@localhost test]$

4.6 只比较前三个字符

[deng@localhost test]$ cat txt
1111
1111
2222
2222
1112
2222
3333
4444
5555
[deng@localhost test]$ sort txt | uniq  -w 3
1111
2222
3333
4444
5555
[deng@localhost test]$

4.7 使用-d -c统计重复行出现的次数

[deng@localhost test]$ sort txt | uniq -cd 2 11113 2222
[deng@localhost test]$

05. 附录

参考：【Linux】一步一步学Linux系列教程汇总

【Linux】一步一步学Linux——uniq命令(54)相关推荐

学linux作用,linux有必要学吗？学linux有什么作用，学linux能干什么
Linux是一种自由和开放源码的类UNIX操作系统.Linux有必要学吗?学Linux有什么作用,学Linux能干什么?Linux最大的作用就是提高效率.当你习惯在Linux命令行下工作,再回到win ...
LINUX学习之路（学LINUX必看）
很多同学接触Linux不多,对Linux平台的开发更是一无所知.而现在的趋势越来越表明,作为一个优秀的软件开发人员,或计算机IT行业从业人员,掌握Linux是一种很重要的谋生资源与手段.下来我将会结 ...
linux学习需要什么基础,学linux需要什么基础？
近几年来,随着计算机网络的发展,越来越多的人学习 linux.对于想要从事运维工作或者从事智能开发方面的同学来说,学习 linux 是必要的.linux 的学习并不简单,那么这篇文章 w3cschoo ...
分享--linux 学习之路（学linux必看）
很多同学接触Linux不多,对Linux平台的开发更是一无所知. 而现在的趋势越来越表明,作为一个优秀的软件开发人员,或计算机IT行业从业人员, 掌握Linux是一种很重要的谋生资源与手段. 下来我将 ...
英语不好学linux运维难吗,学Linux系统难吗？学好Linux运维需要多久
随着近年来经济的快速发展,企业对Linux人才的需求也越来越高.许多人认为,Linux是一个非常简单的行业,然而,Linux行业是一个综合了云计算.Linux运维.Linux开发.Linux编程等多方 ...
不会linux的php难找工作,学linux系统难吗
这是 Linux初学者经常会问的问题,其实Linux和Windows一样都属于操作系统,对于大部分人来说,对Windows操作系统十分熟悉,而对Linux操作系统没有使用过,所以觉得很难,其实,只要熟 ...
linux lamp实验报告,新手学Linux－－构建lamp
本人前不久开始学习Linux,俗话说得好,好记性不如烂笔头,于是决定将平日所学所做实验,记录下来,以备回顾.由于本人是个初学者,所以借鉴了很多网上的资料,但在此处写出来的都是经过本人思考和多次实验的记 ...
Linux其实没那么难学
互联网技术总是更新迭代的,因为2020年的一场疫情,影响着中国乃至整个世界,就在这一年,网络直播,远程办公,在线教育等等的互联网产物进入了众多人的世界,当然,这其中离不开程序员的功劳. 李开复曾经说过 ...
大学生为什么要学Linux？Linux有什么优点？
前言 Linux是一种自由和开放源码的类UNIX操作系统.Linux有必要学吗?学Linux有什么作用,学Linux能干什么?Linux最大的作用就是提高效率.当你习惯在Linux命令行下工作,再回到 ...

【Linux】一步一步学Linux——uniq命令(54)