linux排序语言,Linux sort 排序命令uniq去重复行
sort命令
sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。
sort语法
sort [-fbMnrtuk] [file or stdin]
选项与参数:
-f :忽略大小写的差异,例如 A 与 a 视为编码相同;
-b :忽略最前面的空格符部分;
-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法;
-n :使用『纯数字』进行排序(默认是以文字型态来排序的);
-r :反向排序;
-u :就是 uniq ,相同的数据中,仅出现一行代表;
-t :分隔符,默认是用 [tab] 键来分隔;
-k :以那个区间 (field) 来进行排序的意思
举个栗子
对/etc/passwd 的账号进行排序
语句:cat /etc/passwd | sort
结果:sort 是默认以第一个数据来排序,而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
以 : 来分隔的,以第三栏来排序
语句:cat /etc/passwd | sort -t ':' -k 3
结果:
root:x:0:0:root:/root:/bin/bash
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
默认是以字符串来排序的,如果想要使用数字排序:
语句:cat /etc/passwd | sort -t ':' -k 3n
结果:
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
默认是升序排序,如果要倒序排序,如下
语句:/etc/passwd | sort -t ':' -k 3nr
结果:
nobody:x:65534:65534:nobody:/nonexistent:/bin/sh
ntp:x:106:113::/home/ntp:/bin/false
messagebus:x:105:109::/var/run/dbus:/bin/false
sshd:x:104:65534::/var/run/sshd:/usr/sbin/nologin
如果要对/etc/passwd,先以第六个域的第2个字符到第4个字符进行正向排序,再基于第一个域进行反向排序。
语句:cat /etc/passwd | sort -t':' -k 6.2,6.4 -k 1r
结果:
sync:x:4:65534:sync:/bin:/bin/sync
proxy:x:13:13:proxy:/bin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh
查看/etc/passwd有多少个shell:对/etc/passwd的第七个域进行排序,然后去重
语句:/etc/passwd | sort -t':' -k 7 -u
结果:
root:x:0:0:root:/root:/bin/bash
syslog:x:101:102::/home/syslog:/bin/false
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
sync:x:4:65534:sync:/bin:/bin/sync
sshd:x:104:65534::/var/run/sshd:/usr/sbin/nologin
uniq命令
uniq命令可以去除排序过的文件中的重复行,因此uniq经常和sort合用。也就是说,为了使uniq起作用,所有的重复行必须是相邻的。
uniq语法
语法:uniq [-icu]
选项与参数:
-i :忽略大小写字符的不同;
-c :进行计数;
-u :只显示唯一的行;
举个栗子
testfile文件内容
hello
world
friend
hello
world
hello
语句:uniq testfile
结果:直接删除未经排序的文件,将会发现没有任何行被删除
hello
world
friend
hello
world
hello
语句:cat testfile | sort |uniq
结果:排序文件,默认是去重
friend
hello
world
语句:sort testfile | uniq -c
结果:排序之后删除了重复行,同时在行首位置输出该行重复的次数
1 friend
3 hello
2 world
语句:sort testfile | uniq -dc
结果:仅显示存在重复的行,并在行首显示该行重复的次数
3 hello
2 world
语句:sort testfile | uniq -u
结果:仅显示不重复的行
friend
linux排序语言,Linux sort 排序命令uniq去重复行相关推荐
- Java 一般列表排序,stream sort 排序的使用总结以及案例
一般列表排序 List List<Float> floatList = new ArrayList<>();floatList.add(10.21f);floatList.ad ...
- ------------------uniq 去重复
uniq #检查文件中重复出现的行 -c #显示输出,并在文本行前加重复出现的次数,但如果重复行不连续,则不认为是重复的行 -d #只显示重复出现的行 -u #只显示不重复出现 ...
- Linux系统语言设置和locale命令详解
简介 Linux系统可以用locale命令查看语言设置,查看中英文环境,具体操作如下. 操作 1.查看当前安装有那些语言: [root@localhost /]# locale -a 2.当前语言相关 ...
- wc linux c语言,linux的wc命令的详细解释
Linux中的wc命令主要是用来计算指定文件的字节数等信息.下面由学习啦小编为大家整理了Linux的wc命令的详细解释的相关知识,希望对大家有帮助! linux的wc命令的详细解释 wc命令的功能为统 ...
- linux rpc语言,Linux下RPC的hello world
Linux 下面使用RPC需要使用到命令rpcgen. 在Linux下开发RPC程序流程如下: 1.写一个rpc程序, 如test.x 2.使用rpcgen生成必须的文件,通常是客户端和服务器端以及头 ...
- python sort是什么排序_python的sort()排序方法
很多时候我们的需要排序,例如下面这个情况: l = [[2, 3], [6, 7], [3, 34], [24, 64], [1, 43]] 可能我们需要按按照没个元素的第一个数值的大小进行排序 如果 ...
- linux分区语言,Linux磁盘分区(9)-Go语言中文社区
分区的基础知识: 模式:mbr分区: 1.最多支持四个主分区 2.系统只能安装主分区 3.扩展分区要占一个主分区 4.MBR最大只支持2TB,但拥有最好的兼容性 gtp分区: 1.支持无限多个主分区( ...
- [Linux]C语言Linux系统编程创建进程
1.进程ID 每一个进程都由一个唯一的标识符表示,即进程ID,简称pid.系统保证在某时刻每个pid都是唯一的. 1.1分配进程ID 缺省情况下,内核将进程ID的最大值限制为32768,可以在此处设置 ...
- linux去重复程序,Linux下大文件的排序和去重复
命令介绍: sort :将文本文件内容加以排序. sort -u [file] = sort [file] | uniq (去重) 参数说明 -b 忽略每行前面开始出的空格字符 -c 检查文件是 ...
最新文章
- 循环神经网络(RNN)简介
- 编写 Debugging Tools for Windows 扩展,第 2 部分:输出 (windbg 插件 扩展)
- RabbitMQ使用详解
- jQuery的使用及关于框架造型(转)
- Outlook邮箱重新配置
- [css] 举例说明跟字体相关的属性有哪些
- 那些对你说学历不重要,技术重要的人,他们大部分都是有学历的。
- linux浏览器打开pdf文件,linux下的pdf浏览器(可加批注)
- 【kafka】kafka InstanceAlreadyExists jmx consumer addMBean registerAppInfo AppInfoParser
- 第四届nBazaar技术交流会归来,收获颇丰
- 小D课堂 - 零基础入门SpringBoot2.X到实战_第11节 Logback日志框架介绍和SpringBoot整合实战_44、新日志框架LogBack介绍...
- css 3 制作水波状进度条
- hdu 5698 瞬间移动(2016百度之星 - 初赛(Astar Round2B)——数学题)
- CSP M4 B ZJM要抵御宇宙射线
- 谈一谈mmkv的使用
- STM32cubemx教程及STM32入门(五)IIC
- 业务+IT一体化就是BPO?
- ACME_Pan-specific_peptide-MHC_class_I_binding_pred
- Android实现动态任意拖动图片
- OpenCV —— 频率域滤波(傅里叶变换,低通和高通滤波,带通和带阻滤波,同态滤波)