我写的去除重复文件的类(Java编写,跨平台)

https://github.com/xuejianbest/tools/blob/master/src/com/lwt/tools/FileUtil.java


另外介绍个Linux开源工具:fdupes
https://github.com/adrianlopezroche/fdupes

安装

Ubuntu

sudo apt install fdupes

CentOS

centos 6:
https://centos.pkgs.org/6/epel-x86_64/fdupes-1.6.1-1.el6.x86_64.rpm.html

centos 7:
https://centos.pkgs.org/7/epel-x86_64/fdupes-1.6.1-1.el7.x86_64.rpm.html

从以上网址下载rpm包,用以下命令安装:

rpm -ivh fdupes*.rpm

使用

列出目录列表中目录(不包括子目录)包含的重复文件:

fdupes dir1 dir2

同上,-r参数表明包含dir2子目录中的文件(子目录和祖先目录中文件相同也算重复):

fdupes dir1 -r dir2

-d参数,删除重复文件,具体保留哪个会让用户选择:

fdupes -rd dir

-N参数,删除重复文件并自动保留第一个,不让用户选择:

fdupes -rdN dir

帮助

fdupes -h
Usage: fdupes [options] DIRECTORY...-r --recurse        for every directory given follow subdirectoriesencountered within-R --recurse:      for each directory given after this option followsubdirectories encountered within (note the ':' atthe end of the option, manpage for more details)-s --symlinks      follow symlinks-H --hardlinks       normally, when two or more files point to the samedisk area they are treated as non-duplicates; thisoption will change this behavior-n --noempty        exclude zero-length files from consideration-A --nohidden       exclude hidden files from consideration-f --omitfirst       omit the first file in each set of matches-1 --sameline     list each set of matches on a single line-S --size          show size of duplicate files-m --summarize      summarize dupe information-q --quiet        hide progress indicator-d --delete          prompt user for files to preserve and delete allothers; important: under particular circumstances,data may be lost when using this option togetherwith -s or --symlinks, or when specifying aparticular directory more than once; refer to thefdupes documentation for additional information-N --noprompt      together with --delete, preserve the first file ineach set of duplicates and delete the rest withoutprompting the user-I --immediate    delete duplicates as they are encountered, withoutgrouping into sets; implies --noprompt-p --permissions    don't consider files with different owner/group orpermission bits as duplicates-o --order=BY      select sort order for output, linking and deleting; bymtime (BY='time'; default) or filename (BY='name')-i --reverse      reverse order while sorting-v --version         display fdupes version-h --help         display this help message

Linux:删除重复文件工具fdupes相关推荐

  1. linux删除重复文件,linuxshell删除重复文件只保留一份

    #!/bin/bash #name:remove_one.sh #用途:查找并删除重复文件,每个文件只保留一个样本 #将文件依据大小排序并输出 ls -lS | awk 'BEGIN { #得到第一行 ...

  2. Linux查找文本中的重复项,2在Linux中查找和删除重复文件的有用工具

    如果您有从互联网下载各种内容的习惯,组织您的主目录甚至系统可能会特别困难. 通常,您可能会发现已下载相同的mp3,pdf,epub(以及所有其他文件扩展名)并将其复制到不同的目录中. 这可能会导致您的 ...

  3. 在Linux中查找和删除重复文件的4种方法

    大神教你在Linux中查找和删除重复文件的4种方法 在本教程中,您将学习如何使用rdfind和fdupes命令行工具以及称为DupeGuru和FSlint的GUI工具在Linux中查找和删除重复文件. ...

  4. linux 删除文件中重复,linux系统删除重复文件

    fdupes:Linux中查找并删除重复文件的命令行工具fdupes是Linux下的一个工具,它由Adrian Lopez用C编程语言编写并基于MIT许可证发行,该应用程序可以在指定的目录及子目录中查 ...

  5. linux删除相同的文件,Linux下删除重复文件的神器:dupeGuru

    最近,我需要清理我父亲的文件和文件夹.有一个难题是,里面存在很多不正确的名字的重复文件.有移动硬盘的备份,同时还为同一个文件编辑了多个版本,甚至改变的目录结构,同一个文件被复制了好几次,名字改变,位置 ...

  6. CCleaner软件一键查找/删除重复文件

    在日常工作学习中,电脑系统在使用后难免会出现一些重复文件,这些重复文件不仅会给工作带来极大的不便,也会占用电脑宝贵的内存资源.因此,经常查找与清理电脑系统中的重复文件就显得格外重要. 小编在此向大家推 ...

  7. Win10中使用CMD命令遍历文件夹删除重复文件

    接上一篇<Win10中使用CMD命令遍历文件夹去除多余后缀名>,当修改完后缀名的时候发现,有些文件下载了两次,比如说同时存在video.mp4和video(1).mp4这两个文件,随便点开 ...

  8. python删除重复文件代码

    整理磁盘才发现有好多重复文件,便想手写一个删除重复文件的工具.我当然可以用java轻松写一个了,只是最近看了一些python方面的东西,所以想不如拿python练练手.功能很简单,只是为了查阅资料,我 ...

  9. wget - Linux系统下载文件工具

    wget - Linux系统下载文件工具 Linux系统下载文件工具 补充说明 wget命令 用来从指定的URL下载文件.wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强 的适应性,如果是由 ...

最新文章

  1. 鼠标事件在浏览器的差异
  2. Spring 事务不回滚
  3. 英佩臻游联手发力《全球使命VR》突显未来野心
  4. 互斥锁、条件变量、自旋锁、读写锁
  5. React开发(150):判断方法有避免报错
  6. Linux下如何删除长时间不使用的旧文件?
  7. 计算机考研310分什么水平,知乎工学考研310是什么水平
  8. 财务与IIT的发展正在质变
  9. 计算机社团技术部部长述职报告,社团部长个人工作总结(精选6篇)
  10. 【浅墨著作】《逐梦旅程:Windows游戏编程之从零开始》勘误配套源代码下载...
  11. wget下载文件命令
  12. 第二章实践与认识及其发展规律
  13. C++实现身份证校验和归属地查询
  14. python极简讲义(张玉宏著)的几处补充说明
  15. 【厚积薄发】Crunch压缩图片的AssetBundle打包
  16. 电子元件-TVS与肖特基二极管
  17. [n年以前的诗] 回想那一次
  18. 2.24-2.28的fsop
  19. 【Java基础总结】类加载顺序,new关键字,访问权限修饰符与方法重载等【二】
  20. 通用型游戏资源提取工具介绍

热门文章

  1. 搭建一个完整的javaweb项目
  2. 已有a,b两个链表,每个链表中的结点包括学号,成绩。要求把两个链表合并,按学号升序排列。
  3. 如何将打开的多个excel文件,显示为独立窗口?
  4. 《农民的终结》读书笔记优秀范文2700字
  5. 第七章 项目成本管理
  6. 华为机器学习服务活体检测再升级,构建安全友好的交互式体验
  7. 肖像转素描:AI小素的前世今生
  8. 照片:Majoy是什么东西?
  9. MySQL的varchar水真的太深了——InnoDB记录存储结构
  10. CPU性能指标了解及字符型服务器登陆方式