Linux查找文本中的重复项,2在Linux中查找和删除重复文件的有用工具
如果您有从互联网下载各种内容的习惯,组织您的主目录甚至系统可能会特别困难。
通常,您可能会发现已下载相同的mp3,pdf,epub(以及所有其他文件扩展名)并将其复制到不同的目录中。 这可能会导致您的目录被各种无用的重复内容弄得乱七八糟。
在本教程中,您将学习如何使用rdfind和fdupes命令行工具在Linux中查找和删除重复文件。
注意事项 - 请务必小心您在系统上删除的内容,因为这可能会导致不必要的数据丢失。 如果您使用的是新工具,请首先在测试目录中尝试删除文件不会出现问题。
Rdfind - 在Linux中查找重复文件
Rdfind来自冗余数据查找。 它是一个免费工具,用于在多个目录中或多个目录中查找重复文件。 它使用校验和并根据文件查找重复项不仅包含名称。
Rdfind使用算法对文件进行分类,并检测哪些副本是原始文件,并将其余部分视为重复文件。 排名规则是:如果在扫描早于B的输入参数时找到A ,则A的排名更高。
如果在低于B的深度发现A ,则A的排名更高。
如果A早于B发现,则A排名较高。
最后一条规则特别适用于在同一目录中找到两个文件的情况。
要在Linux中安装rdfind ,请根据 Linux发行版使用以下命令。$ sudo apt-get install rdfind [On Debian/Ubuntu]
$ sudo yum install epel-release && $ sudo yum install rdfind [On CentOS/RHEL]
$ sudo dnf install rdfind [On Fedora 22+]
要在目录上运行rdfind ,只需键入rdfind和目标目录即可。 这是一个例子:$ rdfind /home/user
在Linux中查找重复文件
正如您所看到的, rdfind会将结果保存在名为results.txt的文件中,该文件位于运行程序的同一目录中。 该文件包含rdfind找到的所有重复文件。 如果需要,您可以查看该文件并手动删除重复的文件。
您可以做的另一件事是使用-dryrun选项,该选项将提供重复列表而不执行任何操作:$ rdfind -dryrun true /home/user
找到重复项后,您可以选择使用硬链接替换它们。$ rdfind -makehardlinks true /home/user
如果你想删除重复项,你可以运行。$ rdfind -deleteduplicates true /home/user
要检查rdfind的其他有用选项,您可以使用rdfind手册。$ man rdfind
Fdupes - 在Linux中扫描重复文件
Fdupes是另一个程序,允许您识别系统上的重复文件。 它是免费的开源软件,用C语言编写。它使用以下方法确定重复文件:比较部分md5sum签名
比较完整的md5sum签名
逐字节比较验证
就像rdfind一样,它有类似的选择:递归搜索
排除空文件
显示重复文件的大小
立即删除重复项
排除具有不同所有者的文件
Fdupes语法类似于rdfind 。 只需键入命令,然后键入要扫描的目录。$ fdupes
要以递归方式搜索文件,您必须像这样指定-r选项。$ fdupes -r
您还可以指定多个目录并指定要递归搜索的目录 。$ fdupes -r
要让fdupes计算重复文件的大小,请使用-S选项。$ fdupes -S
要收集有关找到的文件的摘要信息,请使用-m选项。$ fdupes -m
在Linux中扫描重复文件
最后,如果要删除所有重复项,请使用-d选项。$ fdupes -d
Fdupes会询问要删除哪个找到的文件。 您需要输入文件编号:
删除Linux中的重复文件
绝对不推荐的解决方案是使用-N选项,这将导致仅保留第一个文件。$ fdupes -dN
要获取与fdupes一起使用的可用选项列表,请通过运行查看帮助页面。$ fdupes -help
结论
Rdfind和fdupes都是在Linux系统上查找重复文件的非常有用的工具,但在删除这些文件时应该非常小心。
如果您不确定是否需要文件,最好在删除文件之前创建该文件的备份并记住其目录。 如果您有任何问题或意见,请在下面的评论部分提交。
Linux查找文本中的重复项,2在Linux中查找和删除重复文件的有用工具相关推荐
- R语言使用random包生成随机数或者随机字符串实战:randomNumbers函数创建随机整数的数据集(包含重复项)、randomSequence函数创建不含重复项的随机序列数据集、创建随机字符串
R语言使用random包生成随机数或者随机字符串实战:randomNumbers函数创建随机整数的数据集(包含重复项).randomSequence函数创建不含重复项的随机序列数据集.创建随机字符串 ...
- pandas删除数据行中的重复数据行、基于dataframe所有列删除重复行、基于特定数据列或者列的作何删除重复行、删除重复行并保留重复行中的最后一行、pandas删除所有重复行(不进行数据保留)
pandas删除数据行中的重复数据行.基于dataframe所有列删除重复行.基于特定数据列或者列的作何删除重复行.删除重复行并保留重复行中的最后一行.pandas删除所有重复行(不进行数据保留) 目 ...
- es6去除重复项_javascript在ES6中从数组中筛选出重复项并仅返回唯一值
这是从数组中筛选出重复项并仅返回唯一值的三种方法.我最喜欢的是使用Set,因为它是最短和最简单的. 1.使用Set 首先让我解释一下Set:Set是ES6中引入的新数据对象.因为Set仅允许您存储唯一 ...
- python列表删除重复项_五分钟学会三种Excel重复项删除方法,工作效率大杀器!...
点击蓝字 关注我们 在统计数据过程中, 同一份数据可能由于渠道的不同而进行了多次统计, 在输入数据时, 可能因为操作失误重复输入数据.种种原因造成数据表中的数据存在重复现象, 删除重复数据是数据清洗的 ...
- python去掉字典重复项_Python字典操作的问题,要删除字典内部重复值item操作方法...
字典 z 如下 z = { 1: 'a', 2: 'a', 3: 'a', 4: 'b', 5: 'c', 6: 'c', 7: 'd' } 要求删除重复的 value 的 item,只保留一个,如何 ...
- python查找列表重复项_python – 在列表中查找项目和重复项
我正在使用 Python并考虑以下问题:给出一个列表,例如[1,0,-2,0,0,4,5,0,3]多次包含0的整数,我希望有这些0和每一个的索引是它出现在列表中的次数,直到出现不同的元素或列表结束. ...
- 删除数组中的重复项(保留最后一次出现的重复元素并保证数组的原有顺序)
链接 第21题: 方法一:Set判断是否重复 + list存正确的元素 逆序遍历,不重复则添加至list: 使用Collections.reverse() 将list倒置: 将list放入int[ ] ...
- access数据库剔除重复项_如何处理access中重复内容去除?
2019-02-28 在excel表格中如何批量删除或不显示, 你的老板可真难伺候.把空格替换成无,把加号替换成"加"字,或"正",把斜杠替换成"每& ...
- 监听对象中某一项的值_Vue中watch的详细用法
1.基本用法 下面代码是watch的一种基本用法: watch去监听单个值是否发生改变 直接写一个监听处理函数,当每次监听到cityName值发生改变时,执行函数.也可以在所监听的数据后面直接加字符串 ...
最新文章
- 关于帧中继的点对点实验
- python round()四舍五入有偏差 注意了解
- 【Linux学习】linux源代码版本控制RCS
- 瑞幸咖啡退市成定局:董事长被要求辞职,新店却仍在扩张
- pycharm安装第三方包问题解决
- python编程入门-编程零基础应当如何开始学习 Python?
- opencv-python库的安装
- mysql 查找员工入职时间
- centos gedit 字体大小_【写作技巧】毕业论文格式要求及字体大小
- 微信开放平台之第三方平台开发,模板小程序如何提交?
- 小白学 Python(2):基础数据类型(上)
- 初学Singleton单例模式
- 抖音现在做的竞价推广都是怎么操作的?
- grafana配置仪表盘
- 【机器学习】多元函数梯度的理解
- redis之内存碎片问题如何解决
- JavaSE学习总结(八)常用类(上)Object类==与equals方法的区别浅克隆的特点Scanner类String类String两种创建对象方式的区别String类的各种功能
- 手写操作系统(1)——HelloOS
- 一代背锅侠,汉初最能为刘邦背黑锅的人
- 真的能月入过万,长期稳定操作-steam搬砖项目
热门文章
- 为什么学习Linux系统?
- Tibco使用(自用)
- 参数方程求二阶导时候不能直接把y,x分别对t求二阶导然后再相除作为d²y/dx²的原因
- 交换机、路由器、网关的概念,并知道各自的用途
- tail命令,实时查看日志文件
- MySQL系列4—数据库安全性
- deo.php viewkey,新编粤语读音字典 - 粤语 | Cantonese | 白话 - 声同小语种论坛 - Powered by phpwind...
- 新加坡环球影城:新加坡亲子游一日游好去处
- 迈克尔·杰克逊Michael Jackson,仅此记念
- skynet框架的设计结构