linux shell脚本举例,Shell脚本去重的几种方法实例

测试文件

[root@bogon ~]# cat >test

jason

fffff

jason

按 Ctr + D保存

1、sort -u

[root@bogon ~]# sort -u test

fffff

jason

2、uniq

[root@bogon ~]# uniq test

jason

fffff

jason

由此可见，uniq需要先排序后才能去重

3、sort、管道和uniq结合运用

去除重复并保留一份重复的数据

[root@bogon ~]# sort test|uniq

fffff

jason

去除所有重复的行(不保留重复的行)，并计算行数

[root@bogon ~]# sort test|uniq -uc

1 fffff

找出所有重复的行，并计算行数

[root@bogon ~]# sort test|uniq -dc

4 jason

根据某个字段去重

将原有数据改为

[root@bogon ~]# more test

jason 1

jason 2

jason 1

fffff 2

jason 3

[root@bogon ~]# sort -k 1,1 -u test

fffff 2

jason 1

man sort查看sort的用法，-k参数是这么描述的：

-k, --key=POS1[,POS2]

start a key at POS1 (origin 1), end it at POS2 (default end of line)

也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列

linux shell脚本举例,Shell脚本去重的几种方法实例相关推荐

php mysql 去重_mysql去重的两种方法实例详解
这篇文章主要介绍了mysql去重的两种方法详解及实例代码的相关资料,这里对去重的两种方法进行了一一实例详解,需要的朋友可以参考下 mysql去重方法一: 在使用MySQL时,有时需要查询出某个字段不 ...
linux c语言乘法口诀,shell 脚本实现乘法口诀表的两种方法——shell与C语言
shell 脚本实现乘法口诀表的两种方法--shell与C语言话不多说直接给出代码(执行c语言时没有gcc编译器会报错的哦!): 1 #!/bin/bash 2 if [ $# -eq 0 ] 3 ...
Shell脚本中计算字符串长度的5种方法
这篇文章主要介绍了Shell脚本中计算字符串长度的5种方法,来自于个人Shell脚本长期的开发经验,需要的朋友可以参考下有时在Linux操作系统中需要计算某个字符串的长度,通过查询资料整理了下目前S ...
shell统计每一行字符数的三种方法
shell统计每一行字符数的三种方法 $cat test.txt SlNAC2 ,SlNAC2_2 ,SlNAC2_2 ##### 方法一: $awk -F "" '{print ...
linux如何把用户加组内,在Linux中将用户添加到特定组的四种方法
在Linux中将用户添加到特定组的四种方法 Linux组是用于管理Linux中用户帐户的组织单位. 对于Linux系统中的每个用户和组,它都有唯一的数字标识号. 它称为用户ID(UID)和组ID(GI ...
linux中使用文本工具截取ip 的几种方法
linux中使用文本工具截取ip 的几种方法 1,使用awk工具 [root@mycentos data]# ifconfig ens33 ens33: flags=4163<UP,BROADC ...
python list去重时间复杂度_List集合去重的一种方法 z
需要对一个List集合去重,情况是该集合中会出现多个Name属性值相同的,但是其他属性值不同的数据. 在这种情况下,需求要只保留其中一个就好. 我觉得遍历和HashSet都不是我想要的,便采用了一下方 ...
java hashmap 去重_java数组去重的两种方法
我们对于数组元素的使用,有时候在创建数组的初期,并没有考虑过元素的重复问题.当我们想要不重复元素的数组时,就要再进行一步去重的工作.数组的去重有两种方法可以实现,一个是循环比较,另一个是hashSet ...
在Linux中查找和删除重复文件的4种方法
大神教你在Linux中查找和删除重复文件的4种方法在本教程中,您将学习如何使用rdfind和fdupes命令行工具以及称为DupeGuru和FSlint的GUI工具在Linux中查找和删除重复文件. ...

linux shell脚本举例,Shell脚本去重的几种方法实例

linux shell脚本举例,Shell脚本去重的几种方法实例相关推荐

最新文章

热门文章