直接上命令

find -not -empty -type f -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 35-

解释

第一句

find是查找命令，-not -empty寻找非空文件；-type f寻找常规文件；-print0防止文件名里带空格

第二句

xargs命令将之前的结果转化为参数，供后面的命令调用

-0与前面的-print0配合使用，指定使用NULL而不是空格、Tab制表符、回车符为分隔符和结束符

md5sum计算每个文件的MD5值

第三句

sort是排序命令

第四句

uniq -w32是指寻找前32个字符相同的行，原因在于md5值一定是32位的，而后面的–all-repeated=separate是指将重复的部分放在一类，分类输出。

第五句

由于我们的结果带着md5值，不是很好看，所以我们截取md5值后面的部分，cut是文本处理函数，这里-b 35-是指只要每行35个字符之后的部分。

参考文章

Linux 查找重复文件方法汇总
xargs命令详解
Linux命令大全（入门必备）

linux find查找重复文件相关推荐

利用 Linux 查找重复文件
方法一:使用Find命令本部分算是对find强大功能的扩展使用方法说明.在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找 ...
高效率整理电脑上的文件：清理电脑文件方案需要 -- 合理的方法 + 合适的工具如Python查找重复文件
有效管理电脑文档出发点推荐一适合大众用户的省时好用懒人方法管好文件的基础一. 数据/文件的分类二. 数据/文件存放的地方三. 数据/文件名称和文件夹名称的规范和技巧查询重复文件的工具和方 ...
linux 删除文件中重复,linux系统删除重复文件
fdupes:Linux中查找并删除重复文件的命令行工具fdupes是Linux下的一个工具,它由Adrian Lopez用C编程语言编写并基于MIT许可证发行,该应用程序可以在指定的目录及子目录中查 ...
Linux如何查找大文件或目录总结
在Windows系统中,我们可以使用TreeSize工具查找一些大文件或文件夹,非常的方便高效,在Linux系统中,如何去搜索一些比较大的文件呢?下面我整理了一下在Linux系统中如何查找大文件或文件 ...
查找重复文件_快速查找、删除重复图片及文件！
照片或者文件多了难免就会有重复,浪费硬盘空间的情况,下面让我们一起使用ACDSee 官方免费版软件删除你的重复图片及文件吧! 1. 打开软件,点击"工具"下的"查找重复项 ...
查找重复文件_重复文件查找和磁盘整理工具：Tidy Up
为大家带来一款实用的重复文件查找和磁盘整理工具,Tidy Up 5 for Mac可以用来快速查找重复文件并整理硬盘,tidy up 5 mac特别版会根据文件的种类组织分离找到项目,非常的好用. t ...
如何查找重复文件并快速删除，电脑查重复文件的方法
在日常使用电脑的过程中,我们要下载.编辑.保存文件,难免会出现一些重复文件,这些重复文件不仅会给工作带来不便,也会占用硬盘宝贵的空间.因此,经常查找与清理电脑中的重复文件就显得格外重要.如何查找重复文 ...
python 查找重复文件，以及查找重复视频的一些思路
查找重复文件(文件大小一致.md5相同) 思路很简单: 找出指定目录及子目录下所有文件找出大小重复的进一步确认md5也重复的,则认为是重复文件这里md5,为了加速计算,没有算文件的完整md5.( ...
【数据挖掘】利用md5查找重复文件
[数据挖掘]利用md5查找重复文件电脑经过长时间的使用,难免会存留许多重复文件.这些重复文件往往四散在各处,其文件名.修改时间等信息都有改动,这对我清理重复文件造成了困扰.尽管重复文件已经有了诸多修 ...

linux find查找重复文件

直接上命令

解释

第一句

第二句

第三句

第四句

第五句

参考文章

linux find查找重复文件相关推荐

最新文章

热门文章