解析Shell编程中的-----“去重“

原因:

在编写自动化脚本的时候发现,需要使用到循环来遍历某个文件中的内容,但此文件中存在大量的重复无用的数据,需要将其----去重

实践中:

采用 sort 和 uniq 命令来对其进行去重,并发现两者不同

实际例子如下

此处处理的文件名为 data

[root@ip-10-0-1-169 ~]# cat data
123456789
55v1g52d4
15613g645
15613g645
15613g645
15613g645
15613g645
123456789
123456789
123456789
15613g645
15613g645
15613g645

使用sort 处理数据

[root@ip-10-0-1-169 ~]# cat data |sort -u
123456789
15613g645
55v1g52d4

使用uniq处理数据

[root@ip-10-0-1-169 ~]# cat data |uniq
123456789
55v1g52d4
15613g645
123456789
15613g645
[root@ip-10-0-1-169 ~]# cat data |uniq -u
123456789
55v1g52d4

由上述例子可得:

sort:

串联排序所有指定文件并将结果写到标准输出,此处加上-u参数, --unique 输出一次排序结果

uniq:

用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列

解析Shell编程中的-----“去重“相关推荐

shell编程中特殊字符的问题总结
shell编程中特殊字符的问题总结 --同事王怡春的总结: 近日在编写shell脚本的遇到的一些问题,然后上网搜搜学习后,以下是总结后的版本,给大家分享,如有问题,错误,欢迎指正一通配符( * ) ...
shell 不等于_关于shell编程中的整数值比较的两种方式的简单操作实例
谈一谈关于shell编程中的整数值比较的两种方式 Shell编程有时处理一个对象时,需要我们对对象进行测试. 只有符合要求的才采取下一步操作,这样做的好处可以避免程序出错. 这个测试的对象可以是文件. ...
shell编程中for/while/util/case/select/break/continue
2019独角兽企业重金招聘Python工程师标准>>> Shell编程中循环命令用于特定条件下决定某些语句重复执行的控制方式,有三种常用的循环语句:for.while和until.w ...
linux shell let命令,shell编程中的let与（（））
let与(()) 在shell编程中是可以互换的:它们在循环语句中控制变量变化非常有用: 使用let语句或者(())我们可以像C语言那样写程序~ 对于变量赋值,判断什么的不用繁琐的$VAR, -eq等 ...
深入解析C++编程中的静态成员函数
这篇文章主要介绍了深入解析C++编程中的静态成员函数,是C++入门学习中的基础知识,需要的朋友可以参考下 C++静态成员函数与数据成员类似,成员函数也可以定义为静态的,在类中声明函数的前面加stat ...
shell编程中如何执行oracle语句
shell编程中如果向oracle中插入数据之类的,需要先把执行语句放到文件中,然后再@这个文件执行有如下俩种方式供参考: SQL=`sqlplus user/pwd@orains << ...
掌握shell编程中数组的常见用法及示例
From: http://www.embeddedlinux.org.cn/html/jishuzixun/201211/19-2386.html 给大家分享下数组的用法小例子,希望能给大家一点帮助. ...
ll文件显示为?????_关于shell编程中的文件测试简单的操作实例
谈一谈关于shell编程中的文件测试 Shell编程有时处理一个对象时,需要我们对对象进行测试. 只有符合要求的才采取下一步操作,这样做的好处可以避免程序出错. 这个测试的对象可以是文件.字符串.数字 ...
轻松掌握shell编程中数组的常见用法及示例
缘起:在老男孩进行linux培训shell编程教学中,发现不少水平不错的网友及同学对数组仍然很迷糊,下面就给大家分享下数组的用法小例子,希望能给大家一点帮助.其实SHELL的数组很简单,好用.我们学习 ...

解析Shell编程中的-----“去重“

串联排序所有指定文件并将结果写到标准输出,此处加上-u参数, --unique 输出一次排序结果

用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列

解析Shell编程中的-----“去重“相关推荐

最新文章

热门文章