linux快速复制大量小文件方法

使用nc+tar
请确认两边的centos操作系统是否安装nc
yum install nc -y
首先在接收主机上执行：
nc -l 8888 |tar -C /tmp -zxf -
再发送主机上执行：
tar -zcf - /tmp/|nc 10.41.1.65 8888
说明：
10.41.1.65为接收主机的ip地址，8888为监听端口
通过shell建立10000万个0.2k的小文件，进行测试，比scp快了很多。

转载于:https://blog.51cto.com/6300167/2348353

linux快速复制大量小文件方法相关推荐

Linux 快速删除大量小文件方法
Linux 快速删除大量小文件方法当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间.在这种情况之下我们可以使用linux系 ...
linux快速删除大量目录,Linux 快速删除大量小文件方法
当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间.在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理.rsync实际 ...
Ubuntu快速删除大量小文件方法
进行以下两步操作即可: 1.第一步:创建空的文件夹: mkdir /tmp/blank 2.第二步:执行以下命令:rsync --delete-before -d /tmp/blank/ /home/ ...
linux 快速删除大量小文件（数十万级别）
进行以下两步操作即可: # 第一步:创建空的文件夹: mkdir /tmp/blank# 第二步:执行以下命令: rsync --delete-before -d --progress /tmp/ ...
【✅windows奇怪的知识增加了✅】windows系统下快速删除海量小文件方法
背景测试收图demo等,会在本地保存大量图片文件,时间一长,会有多哒几十个GB的数据,占用大量磁盘空间.使用windows的右键删除耗时完全不靠谱,需要十几个小时.尝试了shift+del还是很慢. ...
Linux快速复制或删除大量小文件
前言公司需要输送给网安部一批数据集,共计1550w张图片,大约3,5T. 处理过程中同时参考网上的一些方法的实践总结. 1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar c ...
Linux快速复制T级数据或删除大量小文件
1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar cvf – /home/src_dir | tar xvf – -C /opt 复制文件 $ tar cf – access ...
linux 快速删除大量/大文件
linux 快速删除大量/大文件经常会测试海量大数据,在不同文件系统下执行列出(list),删除(rm)等操作的执行时间,下面列出了,执行删除50万个文件时,使用不同的命令或者脚本,执行时间! 从上 ...
linux md5 加密字符串和文件方法
linux md5 加密字符串和文件方法 MD5算法常常被用来验证网络文件传输的完整性,防止文件被人篡改.MD5全称是报文摘要算法(Message-Digest Algorithm 5),此算法对任意 ...

linux快速复制大量小文件方法

linux快速复制大量小文件方法相关推荐

最新文章

热门文章