Linux下使用rsync最快速删除海量文件的方法

遇到了要在Linux下删除海量文件的情况，需要删除数十万个文件。这个是之前的程序写的日志，增长很快，而且没什么用。这个时候，我们常用的删除命令rm -fr * 就不好用了，因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。

1、先安装rsync：
yum install rsync2、建立一个空的文件夹：
mkdir /tmp/test3、用rsync删除目标目录：
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。
选项说明：
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式

–stats 给出某些文件的传输状态

------------------------------------

当SRC和DEST文件性质不一致时将会报错
当SRC和DEST性质都为文件【f】时，意思是清空文件内容而不是删除文件
当SRC和DEST性质都为目录【d】时，意思是删除该目录下的所有文件，使其变为空目录
最重要的是，它的处理速度相当快，处理几个G的文件也就是秒级的事
最核心的内容是：rsync实际上用的就是替换原理

转载于:https://blog.51cto.com/4838832/1682524

Linux下使用rsync最快速删除海量文件的方法相关推荐

Linux下使用rsync最快速删除海量文件的方法分享
点评:昨天遇到了要在Linux下删除海量文件的情况,需要删除数十万个文件.这个是之前的程序写的日志,增长很快,而且没什么用这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太 ...
linux rsync删文件速度,Linux下使用rsync最快速删除大量文件的方法
要在Linux下删除海量文件的情况,需要删除三层哈希目录下的几十万个文件.这个时候,删除命令rm -rf * 就不好用了,因为要等待的时间太长.所以必须要采取一些非常手段.我们可以使用rsync来实现 ...
Linux下使用rsync最快速删除大量文件的方法
要在Linux下删除海量文件的情况,需要删除三层哈希目录下的几十万个文件.这个时候,删除命令rm -rf * 就不好用了,因为要等待的时间太长.所以必须要采取一些非常手段.我们可以使用rsync来实现 ...
linux下如何查看文件大小快速找到最大文件的方法
查看当前目录的大小 du -sh . 查看当前目录下所有文件或者目录的大小 du -sh * 显示前10个占用空间最大的目录 du -s * | sort -nr | head 显示前10个占用空间最 ...
快速删除node_modules文件夹方法（效率高、无延迟）
当前端项目安装了较多模块后,node_modules目录下的文件会很多,直接删除整个目录会很慢,下面介绍些快速删除node_modules目录的方法. 方法一:使用rimraf模块的命令在全局安装r ...
Linux下无法正常安装和删除Nodejs的解决方法
前言自从买了VPS后就没闲着,总想要充分利用起来倒腾点东西. 于是决定安装nodejs搭建web服务器等,如今nodejs稳定版本已经更新到8.x了,因此我就试着装一下8.x吧,没想到又遇到了坑,一 ...
在linux下使用debugfs恢复rm删除的文件
原理主要是删除的文件并没有实际上从硬盘上摸去,只是inode索引删除了相关的信息,因此只要找到刚删除文件的block上,就可以恢复已经删除的文件. 以下方法在ext3的文件系统上测试通过,ext2的没 ...
linux快速删除海量文件
首先创建一个临时目录: /rubbish rsync --delete-before -a -H -v --progress --stats /rubbish /111 /111为目的目录选项说明: ...
linux rm 删除所有文件,linux无需rm就可快速删除大量文件
格式: rsync --delete-before -a -H -v --progress --stats 选项: --delete-before 接收者在传输之前进行删除操作 -progres ...

Linux下使用rsync最快速删除海量文件的方法

Linux下使用rsync最快速删除海量文件的方法相关推荐

最新文章

热门文章