linux 快速删除大量小文件(数十万级别)
进行以下两步操作即可:
# 第一步:创建空的文件夹:
mkdir /tmp/blank# 第二步:执行以下命令:
rsync --delete-before -d --progress /tmp/blank/ video/
当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。
1. rsync安装,有些系统默认安装有该命令
sudo apt-get install rsync
2. rsync提供了一些跟删除有关的参数
rsync --help | grep delete--del an alias for --delete-during--delete delete extraneous files from destination dirs--delete-before receiver deletes before transfer, not during--delete-during receiver deletes during transfer (default)--delete-delay find deletions during, delete after--delete-after receiver deletes after transfer, not during--delete-excluded also delete excluded files from destination dirs--ignore-errors delete even if there are I/O errors--max-delete=NUM don‘t delete more than NUM files
其中--delete-before接收者在传输之前进行删除操作
3. 示例
清空目录或文件,如下:
# 1、先建立一个空目录mkdir /data/blank# 2、用rsync删除目标目录rsync --delete-before -d -a -H -v --progress --stats /data/blank/ video/# 或者rsync --delete-before -d /data/blank/ video/# 这样/var/edatacache目录就被快速的清空了。#选项说明:--delete-before # 接收者在传输之前进行删除操作--progress # 在传输时显示传输过程-a # 归档模式,表示以递归方式传输文件,并保持所有文件属性-H # 保持硬连接的文件-v # 详细输出模式–stats # 给出某些文件的传输状态-d # transfer directories without recursing
3、也可以用来删除大文件
假如我们在/root/下有一个几十G甚至上百G的文件data,现在我们要删除它
# 一、创建一个空文件touch /root/empty# 二、用rsync清空/root/data文件rsync --delete-before -d --progess --stats /root/empty /root/data
注意:
当SRC和DEST文件性质不一致时将会报错
当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件
当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录
linux 快速删除大量小文件(数十万级别)相关推荐
- Linux 快速删除大量小文件方法
Linux 快速删除大量小文件方法 当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间.在这种情况之下我们可以使用linux系 ...
- linux快速删除大量目录,Linux 快速删除大量小文件方法
当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间.在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理.rsync实际 ...
- Ubuntu快速删除大量小文件方法
进行以下两步操作即可: 1.第一步:创建空的文件夹: mkdir /tmp/blank 2.第二步:执行以下命令:rsync --delete-before -d /tmp/blank/ /home/ ...
- linux 快速删除大量/大文件
linux 快速删除大量/大文件 经常会测试海量大数据,在不同文件系统下执行列出(list),删除(rm)等操作的执行时间,下面列出了,执行删除50万个文件时,使用不同的命令或者脚本,执行时间! 从上 ...
- linux快速删除60万文件,Linux下快速删除大量文件
rsync --delete-before -d /tmp/empty/ /the/folder/you/want/delete/ 不要忘记文件夹后的"/" 附: rsync的跟删 ...
- 【✅windows奇怪的知识增加了✅】windows系统下快速删除海量小文件方法
背景 测试收图demo等,会在本地保存大量图片文件,时间一长,会有多哒几十个GB的数据,占用大量磁盘空间.使用windows的右键删除耗时完全不靠谱,需要十几个小时.尝试了shift+del还是很慢. ...
- linux快速复制大量小文件方法
使用nc+tar 请确认两边的centos操作系统是否安装nc yum install nc -y 首先在接收主机上执行: nc -l 8888 |tar -C /tmp -zxf - 再发送主机上执 ...
- Linux快速复制T级数据或删除大量小文件
1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar cvf – /home/src_dir | tar xvf – -C /opt 复制文件 $ tar cf – access ...
- Linux快速复制或删除大量小文件
前言 公司需要输送给网安部一批数据集,共计1550w张图片,大约3,5T. 处理过程中同时参考网上的一些方法的实践总结. 1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar c ...
最新文章
- TP-Link路由器设置上网知识笔记
- HDU1512 (左偏树)
- 三周第三次课 3.7 su命令 3.8 sudo命令 3.9 限制root远程登录
- 如何保证 HBase 服务的高可用?看看这份 HBase 可用性分析与高可用实践吧!
- 简单人物画像_天天谈【用户画像】95%的人根本不知道自己在说什么
- Membership三步曲之入门篇 - Membership基础示例
- Java SSM开发大众点评后端 Mybatis实战商城项目
- 全国海关分区图(含副厅)
- LimeSDR-USB硬件部分详细解读
- C#开发WinForm之DataGridView开发
- WIN10下系统缩放比例(DPI)的魔幻设置
- 手机软件测试分类(测试分类)
- 【houdini vop】Block
- 字节跳动面试真题:Redis为什么快?
- 手机老是显示微信连接不到服务器,手机微信无法连接到服务器提示1237怎么办...
- 温度传感器php,温度传感器基础知识
- win10系统能正常接收qq微信但打不开网页问题解决方法
- 150首中国翻唱韩国原歌曲
- 理解悲观锁乐观锁、同步锁、读锁、写锁
- 【厚积薄发系列】C++项目总结15—字符集不同导致第三方库接口无法解析问题分析
热门文章
- 帝国CMS升级以及PHP版本为7.*空白问题解决
- 第六章-“那又如何”:情绪低落为何会使人屈服于诱惑
- NASA World Wind开源项目配置详解
- gogs创建项目_docker gogs安装
- ssm+JSP计算机毕业设计演唱会售票系统eq1z0【源码、程序、数据库、部署】
- 软件设计师-4.操作系统基础知识
- 人人都是产品经理2.0-03章摘要总结
- Pandas(十一)--时间序列相关
- PostgreSQL HAVING 子句
- 用jQuery封装的Ajax把json数据展示到页面中去