【shell】删除重复文件

2019独角兽企业重金招聘Python工程师标准>>>

#!/bin/bash
#name:remove_one.sh
#用途：查找并删除重复文件，每个文件只保留一个样本

#将文件依据大小排序并输出
ls -lS | awk 'BEGIN {
#得到第一行total总数并丢弃，读取下一行
getline;getline;
name1=$9;size=$5;
}
{
name2=$9;
if(size==$5)
#大小一样的可能是内容相同的文件
{
#用md5进行校验和
("md5sum "name1)|getline; csum1=$1;
("md5sum "name2)|getline; csum2=$1;
#如果校验和相同则为内容相同的文集，输出名字
if( csum1==csum2 )
{
{print name1;print name2}
}
};
size=$5;name1=name2;
}' | sort -u > duplicate_files

#计算重复文件的md5sum，将重复文件中的一采样写入duplicate_sample中
cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo Removing...

#删除在duplicate_files中列出且未被duplicate_sample列出的全部文件
comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
echo Removed duplicates files successfully

转载于:https://my.oschina.net/u/2553223/blog/609694

【shell】删除重复文件相关推荐

shell 删除重复文件
shell 删除重复文件的脚本 #!bin/bash #文件名:remove_duplicates.sh #用途:查找并删除重复文件,每一个文件只保留一个样本ls -lS | awk 'BEGIN{g ...
根据文件MD5删除重复文件
根据文件MD5删除重复文件,仅保留一份文件: ```shell find . -type f -exec md5sum {} \; | sort -k 1 | awk 'a[$1]++{print $ ...
通过md5值删除重复文件
不能不说shell命令的强大,一条命令就可以解决繁琐编码. 根据文件MD5删除重复文件,仅保留一份文件: find "$1" -type f -exec md5sum {} \; ...
CCleaner软件一键查找/删除重复文件
在日常工作学习中,电脑系统在使用后难免会出现一些重复文件,这些重复文件不仅会给工作带来极大的不便,也会占用电脑宝贵的内存资源.因此,经常查找与清理电脑系统中的重复文件就显得格外重要. 小编在此向大家推 ...
群晖自动删除重复文件_在群晖中批量删除重复文件(零基础手把手图文)
在群晖中批量删除重复文件(零基础手把手图文) 2020-03-26 14:51:01 24点赞 229收藏 39评论小编注:此篇文章来自即可瓜分10万金币,周边好礼达标就有,邀新任务奖励无上限,点击 ...
在Linux中查找和删除重复文件的4种方法
大神教你在Linux中查找和删除重复文件的4种方法在本教程中,您将学习如何使用rdfind和fdupes命令行工具以及称为DupeGuru和FSlint的GUI工具在Linux中查找和删除重复文件. ...
Win10中使用CMD命令遍历文件夹删除重复文件
接上一篇<Win10中使用CMD命令遍历文件夹去除多余后缀名>,当修改完后缀名的时候发现,有些文件下载了两次,比如说同时存在video.mp4和video(1).mp4这两个文件,随便点开 ...
linux删除重复文件,linuxshell删除重复文件只保留一份
#!/bin/bash #name:remove_one.sh #用途:查找并删除重复文件,每个文件只保留一个样本 #将文件依据大小排序并输出 ls -lS | awk 'BEGIN { #得到第一行 ...
删除重复文件的脚本代码
测试环境 :centos7 ⚠️注意:该代码在Mac os系统下会因为参数问题报错无参数"ls --time-style" "uniq -w" "m ...

【shell】删除重复文件

【shell】删除重复文件相关推荐

最新文章

热门文章