Linux删除重复行

文本处理时，经常要删除重复行，下面是三种方法

第一，用sort+uniq，注意，单纯uniq是不行的。
sort -n test.txt | uniq

第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。

sort -n $file | awk '{if($0!=line)print; line=$0}'
　

第三，用sort+sed命令，同样需要sort命令先排序。

sort -n $file | sed '$!N; /^$.*$\n\1$/!P; D'

Shell脚本

# !/bin/shfile='test.txt'sort -n $file | uniqsort -n $file | awk '{if($0!=line)print; line=$0}'sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'

测试文件：

yanggang@barry$ cat test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa
执行结果：

yanggang@barry$ ./diffRow.sh
aaa
aaaaa
bbb
bbbbb
ccccc
123

推荐参考：

删除文本中的重复行sort+uniq/awk/sed

SED单行脚本快速参考Unix 流编辑器

Linux删除重复行相关推荐

linux多个文件删除重复行,shell中删除文件中重复行的方法
Linux下文本处理工具很丰富很强大,例如这样一个文件: cat log www.jb51.net 192.168.1.1 www.jb51.net 192.168.1.1 www.jb51.net ...
linux shell 合并多个文件并删除重复行
目录源文件合并文件删除重复行并显示文件并集&交集&补集 cat a.txt b.txt | sort | uniq > h.txt 源文件 1.首先输入"cd ...
pandas使用drop_duplicates函数基于subset参数指定的数据列子集删除重复行、并设置keep参数保留重复行中的最后一个数据行
pandas使用drop_duplicates函数基于subset参数指定的数据列子集删除重复行.并设置keep参数保留重复行中的最后一个数据行目录
pandas删除数据行中的重复数据行、基于dataframe所有列删除重复行、基于特定数据列或者列的作何删除重复行、删除重复行并保留重复行中的最后一行、pandas删除所有重复行（不进行数据保留）
pandas删除数据行中的重复数据行.基于dataframe所有列删除重复行.基于特定数据列或者列的作何删除重复行.删除重复行并保留重复行中的最后一行.pandas删除所有重复行(不进行数据保留) 目 ...
温故知新MySQL--如何在MySQL表中删除重复行
2019独角兽企业重金招聘Python工程师标准>>> 如何在MySQL表中删除重复行在实际应用中,会有需要删除重复数据的场景.这里简单介绍下如何删除重复的数据 1. 准备数据 C ...
editplus 批量删除重复行
编辑 - 删除 - 删除重复行.最后只剩下不重复的部分,之前重复的行,也只剩下一份.
MySQL 如何查找删除重复行？
如何查找重复行第一步是定义什么样的行才是重复行.多数情况下很简单:它们某一列具有相同的值.本文采用这一定义,或许你对"重复"的定义比这复杂,你需要对sql做些修改.本文要用到的数 ...
sqlserver中删除重复行的方法
前段时间,公司同事不小心在数据库表中重加了数据,不多,7000条左右.因为信息比较重要,不能删错了.但也不能有重复数据.所以找我求救. 解决问题后,总结如下: SQL Server删除重复行是我们最常 ...
datagrid如何获取一行数据中的某个字段值_MySQL 如何查找删除重复行？
如何查找重复行第一步是定义什么样的行才是重复行.多数情况下很简单:它们某一列具有相同的值.本文采用这一定义,或许你对"重复"的定义比这复杂,你需要对sql做些修改.本文要用到的数 ...

Linux删除重复行

Linux删除重复行相关推荐

最新文章

热门文章