linux shell 合并多个文件并删除重复行

源文件

合并文件

删除重复行并显示

文件并集&交集&补集

cat a.txt b.txt | sort | uniq > h.txt

源文件

1.首先输入“cd tmp”到文件目录（本例中为tmp）。

2.输入“cat a.txt”输出a.txt文件内容。

3.输入“cat b.txt”输出b.txt文件内容。

合并文件

4.输入“cat a.txt b.txt > c.txt”合并b.txt文件内容到a.txt的下方并输出到c.txt。并输入“cat c.txt”输出c.txt文件内容。注意：蓝色框内为原a.txt文件内容，黄色框内为原b.txt文件内容。

5.输入“paste a.txt b.txt > d.txt”合并b.txt文件内容到a.txt的右方并输出到d.txt。并输入“cat d.txt”输出d.txt文件内容。注意：蓝色框内为原a.txt文件内容，黄色框内为原b.txt文件内容。

6.输入“cat a.txt b.txt | sort | uniq | > e.txt”合并a.txt和b.txt文件内容并删除重复行，将结果输出到e.txt。并输入“cat e.txt”输出e.txt文件内容。注意e.txt与上图c.txt文件的区别。

删除重复行并显示

7.输入“cp b.txt f.txt”命令复制b.txt，新文件名为f.txt，输入“cat f.txt”命令显示文件内容。

8.输入“sort f.txt | uniq”并按回车键确定显示删除重复行（重复多行只显示一行）的结果。

9.sort命令仅对显示结果进行删除重复行，并不修改文件，可通过输入“cat f.txt”命令查看文件内容，结果与原文件相同。

10.输入“cp b.txt g.txt”命令复制b.txt，新文件名为g.txt，输入“cat g.txt”命令显示文件内容。

11.输入“sort g.txt | uniq -u ”并按回车键确定显示删除重复行（不显示重复行）的结果。

12.sort命令仅对显示结果进行删除重复行，并不修改文件，可通过输入“cat g.txt”命令查看文件内容，结果与原文件相同。

文件并集&交集&补集

注意：文件补集和交集等操作需保证文件内容无重复行。
13.输入“cat a.txt b.txt | sort | uniq > h.txt”命令将a.txt和b.txt文件合并输出为h.txt（如果两个源文件有重复行则只保留一行），并输入“cat h.txt”查看h.txt文件内容。

14.输入“cat a.txt b.txt | sort | uniq -c > h1.txt”命令将a.txt和b.txt文件合并输出为h1.txt（-c 参数显示每行出现的次数），并输入“cat h1.txt”查看h.txt文件内容。

15.输入“cat a.txt b.txt | sort | uniq -d > i.txt”命令（-d参数表示仅显示重复行）将a.txt和b.txt的交集输出到i.txt，并输入“cat i.txt”查看文件内容。注意：此处因b.txt有重复行，故输出文件内容不正确。

16.输入“sort b.txt | uniq > b1.txt”命令将b.txt删除重复行（重复行只保留一行）的结果输出为b1.txt文件，并输入“cat b1.txt”查看文件内容。

17.输入“cat a.txt b1.txt | sort | uniq -d > j.txt”命令（-d参数表示仅显示重复行）将a.txt和b1.txt的交集输出到j.txt，并输入“cat j.txt”查看文件内容。注意：此处因b1.txt无重复行，故输出文件内容正确。

18.输入“cat a.txt b.txt | sort | uniq -u > k.txt”命令（-u参数表示仅显示文件中不重复行）将删除a.txt和b.txt文件的交集（111和777两行），并将其他内容输出到k.txt， 输入“cat k.txt”查看文件内容。注意：因b.txt文件内容有重复行（aaa和bbb两行），故输出文件内容不正确

19.输入“cat a.txt b1.txt | sort | uniq -u > k1.txt”命令（-u参数表示仅显示文件中不重复行）将删除a.txt和b1.txt文件的交集（111和777两行），并将其他内容输出到k1.txt， 输入“cat k.txt”查看文件内容。注意：因b1.txt文件内容无重复行，故输出文件内容正确

linux shell 合并多个文件并删除重复行相关推荐

Linux 指令：怎样从文件中找到重复行？
Linux 指令:怎样从文件中找到重复行? 1.例如有文件test1.txt,内容如下: Hello world. 122 122 343434 222222 执行uniq -d 可以找到重复行: 1 ...
linux多个文件删除重复行,shell中删除文件中重复行的方法
Linux下文本处理工具很丰富很强大,例如这样一个文件: cat log www.jb51.net 192.168.1.1 www.jb51.net 192.168.1.1 www.jb51.net ...
Shell合并两个文件成一个文件的两列paste,awk
Shell合并两个文件成一个文件的两列发布时间:2014-07-20 编辑:www.jquerycn.cn Shell合并两个文件成一个文件的两列,提供了两种方法,普通shell脚本,awk脚本 ...
linux ftp 查找文件,Linux shell ftp命令根据文件日期下载文件的方法
需求:ftp获取远程数据的文件,根据文件的创建时间点下载文件. 可以自行扩展根据文件的大小等其他需求. 知识点总结: 1.获取文件的时间: ls -lrt|awk '{print $6" & ...
linux过滤重复字符串,linux – 从制表符分隔文件中删除重复的单词/字符串
我想使用Linux命令从大的制表符分隔文件中删除重复的单词/字符串. names john, cnn, mac, tommy, mac, patrick, ngc, discovery, john, ...
Linux删除重复行
文本处理时,经常要删除重复行,下面是三种方法第一,用sort+uniq,注意,单纯uniq是不行的. sort -n test.txt | uniq 第二,用sort+awk命令,注意,单纯awk同 ...
根据文件MD5删除重复文件
根据文件MD5删除重复文件,仅保留一份文件: ```shell find . -type f -exec md5sum {} \; | sort -k 1 | awk 'a[$1]++{print $ ...
python删除文件某行_python 文件操作删除某行的实例
python 文件操作删除某行的实例使用continue跳过本次写循环就可以了 #文本内容 Yesterday when I was young 昨日当我年少轻狂 The tasting of li ...
（二）对导入的Excel某列进行合并、求和，删除重复行
第一次真正意义上做小项目,根据对方所提需求,慢慢的学习并实践. 在之前我们是通过ExcelDataReader插件将Excel的内容导入datagridview控件,那今天是将导入的数据从datagr ...

linux shell 合并多个文件并删除重复行

源文件

合并文件

删除重复行并显示

文件并集&交集&补集

linux shell 合并多个文件并删除重复行相关推荐

最新文章

热门文章

linux shell 合并多个文件 并删除重复行

源文件

合并文件

删除重复行并显示

文件并集&交集&补集

linux shell 合并多个文件 并删除重复行相关推荐

最新文章

热门文章

linux shell 合并多个文件并删除重复行

linux shell 合并多个文件并删除重复行相关推荐