Shell命令-文件及内容处理之sort、uniq
文件及内容处理 - sort、unip
1. sort:对文件的文本内容排序
sort命令的功能说明
sort
命令用于将文本文件内容加以排序。sort
可针对文本文件的内容,以行为单位来排序。
sort命令的语法格式
sort
[OPTION]... [FILE]...
sort
[-bcdfimMnr][-o][-t][+-][--help][--verison][文件]
sort命令的常用参数说明:
split
参数很多,表1为sort
命令的参数及说明:
表1:
sort
命令的参数及说明
参数选项 | 解释说明 |
---|---|
-b | 忽略每行前面开始出的空格字符。 |
-c | 检查文件是否已经按照顺序排序。 |
-d | 排序时,处理英文字母、数字及空格字符外,忽略其他的字符。 |
-f | 排序时,将小写字母视为大写字母。 |
-i | 排序时,除了040至176之间的ASCII字符外,忽略其他的字符。 |
-m | 将几个排序好的文件进行合并。 |
-M | 将前面3个字母依照月份的缩写进行排序。 |
-n | 依照数值的大小排序。 |
-o | 将排序后的结果存入指定的文件。 |
-r | 以相反的顺序来排序。 |
-t | 指定排序时所用的栏位分隔字符。 |
+ | - 以指定的栏位来排序,范围由起始栏位到结束栏位的前一栏位。 |
--help | 显示帮助。 |
--version | 显示版本信息。 |
sort命令的实践操作
范例1: 在使用
sort
命令以默认的式对文件的行进行排序,使用的命令如下:
--------------------------------------------------------------
==>testfile文件原有排序 <==
--------------------------------------------------------------
[root@web01 ~]# cat testfile
test 30
Hello 95
Linux 85 --------------------------------------------------------------
==>重排结果<==
--------------------------------------------------------------
[root@web01 ~]# sort testfile
Hello 95
Linux 85
test 30
2. uniq:去除重复行
uniq命令的功能说明
uniq
命令用于检查及删除文本文件中重复出现的行列,一般与sort
命令结合使用。uniq
可检查文本文件中重复出现的行列。
uniq命令的语法格式
uniq
[OPTION]... [INPUT [OUTPUT]]
uniq
[-cdu][-f][-s][-w][--help][--version][输入文件][输出文件]
uniq命令的常用参数说明:
uniq
参数不多,表1为uniq
命令的参数及说明:
表1:
uniq
命令的参数及说明
参数选项 | 解释说明 |
---|---|
-c或--count | 在每列旁边显示该行重复出现的次数。 |
-d或--repeated | 仅显示重复出现的行列。 |
-f或--skip-fields= | 忽略比较指定的栏位。 |
-s或--skip-chars= | 忽略比较指定的字符。 |
-u或--unique | 仅显示出一次的行列。 |
-w或--check-chars= | 指定要比较的字符。 |
--help | 显示帮助。 |
--version | 显示版本信息。 |
[输入文件] | 指定已排序好的文本文件。如果不指定此项,则从标准读取数据; |
[输出文件] | 指定输出的文件。如果不指定此选项,则将内容显示到标准输出设备(显示终端)。 |
uniq命令的实践操作
范例1: 文件testfile中第 2、3、5、6、7、9行为相同的行,使用
uniq
命令删除重复的行,可使用以下命令:
--------------------------------------------------------------
==>原有内容 <==
--------------------------------------------------------------
[root@web01 ~]# cat testfile
test 30
test 30
test 30
Hello 95
Hello 95
Hello 95
Hello 95
Linux 85
Linux 85 --------------------------------------------------------------
==>删除重复行后的内容<==
--------------------------------------------------------------
[root@web01 ~]# uniq testfile
test 30
Hello 95
Linux 85
范例2: 检查文件并删除文件中重复出现的行,并在行首显示该行重复出现的次数。使用如下命令:
[root@web01 ~]# uniq -c testfile <-->删除重复行后的内容
3 test 30 <-->前面的数字的意义为该行共出现了3次
4 Hello 95 <-->前面的数字的意义为该行共出现了4次
2 Linux 85 <-->前面的数字的意义为该行共出现了2次
范例3: 当重复的行并不相邻时,
uniq
命令是不起作用的,即若文件内容为以下时,uniq
命令不起作用:
--------------------------------------------------------------
==>原有内容 <==
--------------------------------------------------------------
[root@web01 ~]# cat testfile1
test 30
Hello 95
Linux 85
test 30
Hello 95
Linux 85
test 30
Hello 95
Linux 85 --------------------------------------------------------------
==>这时我们就可以使用 sort<==
--------------------------------------------------------------
[root@web01 ~]# sort testfile1 | uniq
Hello 95
Linux 85
test 30--------------------------------------------------------------
==>统计各行在文件中出现的次数:<==
--------------------------------------------------------------
[root@web01 ~]# sort testfile1 | uniq -c3 Hello 95 3 Linux 85 3 test 30--------------------------------------------------------------
==>在文件中找出重复的行:<==
--------------------------------------------------------------
[root@web01 ~]# sort testfile1 | uniq -d
Hello 95
Linux 85
test 30
今天就写到这里,有什么疑问或出现什么错误,随时欢迎大神们发表评论指点迷津
转载于:https://www.cnblogs.com/wjcLinux/p/10740484.html
Shell命令-文件及内容处理之sort、uniq相关推荐
- Shell命令-文件及内容处理之more、less
文件及内容处理 - more.less 1. more:分页显示文件内容 more命令的功能说明 more 命令类似 cat,不过会以一页一页的形式显示,更方便使用者逐页阅读,而最基本的指令就是按空白 ...
- Shell命令-文件及内容处理之split、paste
文件及内容处理 - split.paste 1. split:分割文件为不同的小片段 split命令的功能说明 split 命令用于将一个文件分割成数个.该指令将大文件分割成较小的文件,在默认情况下将 ...
- Shell命令-文件及内容处理之grep(egrep)、join
文件及内容处理 - grep(egrep).join 1. grep(egrep):文本过滤工具 grep(egrep)命令的功能说明 grep命令是Linux系统中最重要的命令之一,其功能是从文本文 ...
- 创建Mac的shell命令文件(xxx.sh)
mac的shell命令文件(.sh)与windows的批处理文件(.bat)一样,都是系统的可执行脚本文件,.bat文件双击即可以执行,.sh 文件需要在终端中执行 ./xxxx.sh,下面用两个sh ...
- 服务器里解压缩gz文件夹,Shell命令文件压缩解压缩之gzip、zip的案例分析
Shell命令文件压缩解压缩之gzip.zip的案例分析 发布时间:2020-11-13 10:32:36 来源:亿速云 阅读:114 作者:小新 小编给大家分享一下Shell命令文件压缩解压缩之gz ...
- linux+shell+解压命令,Shell命令 文件压缩解压缩之gzip、zip详解
本篇文章的主要内容讲述的是shell命令中之文件压缩解压缩之gzip.zip,具有一定参考价值,感兴趣的朋友可以了解一下,希望对你有所帮助. 1.gzip:gzip压缩工具 gzip命令的功能说明: ...
- 几个常用的文本处理shell 命令:find、grep、sort、uniq、sed、awk
find 文件查找 查找txt和pdf文件 1 find . \( -name "*.txt" -o -name "*.pdf" \) -print 查找所有字 ...
- 文本处理命令 cat more less cut wc sort uniq
1.cat cat主要功能: 1.一次显示整个文件. cat filename 2.从键盘创建一个文件. cat > filename (只能创建新文件,不能编辑已有文件). 1 ...
- shell 删除文本中的重复行(sort+uniq/awk/sed) (方法=效率啊)
From: http://churuimin425.blog.163.com/blog/static/341298772012230112956712/ 删除文本中的重复行(sort+uniq/awk ...
最新文章
- 2022-2028年中国卫星互联网产业深度调研及投资前景预测报告(全卷)
- 叙述式教学方案计算机技术,计算机病毒及防治叙述式教学设计方案.doc
- 技术面试 vs 实际岗位 | 每日趣闻
- C++Objective-c
- android WebView通过js方法与原生交互
- UVA-714 二分
- Up or out!!!
- 边框颜色为 tintColor 的 UIButton
- 信息学奥赛一本通 1345:【例4-6】香甜的黄油 | 洛谷 P1828 [USACO3.2]香甜的黄油 Sweet Butter
- 信息学奥赛一本通(1171:大整数的因子)
- Redis学习总结(4)——Spring Data操作Redis
- Social Dialogue征集IT意见领袖和优秀博客的RSS地址
- winxp系统的驱动可用于win2k吗?_收藏!工业机器人伺服系统常见问题汇总
- erdas遥感图像几何校正_【答疑】为什么要进行遥感图像处理?
- Qt5开发从入门到精通——第一篇概述
- [OpenDrive] OpenDrive学习笔记
- 计算机专业电路基础高考试卷,计算机专业电路基础试题(4页)-原创力文档
- JAVA对字符串进行32位MD5加密
- linux下ant安装和使用教程,ant安装与简单应用
- 【Datawhale数据可视化组队学习】Task05 - 样式色彩秀芳华
热门文章
- MongoDB高级——复制(副本集)
- 神经网络-损失函数-等高线理解
- 判断php图片是否存在,php判断远程图片是否存在
- TensorFlow 2.0 自定义操作与建模方式
- Pytorch中view()方法和resize()方法的区别
- C++的使用Lambda
- linux下Hbase的常用shell命令
- VB/VBA中实现数据库与文件的存取
- Linux分页错误,Linux-x86_64Error:28:Nospaceleftondevice问题
- cookie购物车php简单,cookie的优化与购物车实例