Linux快速复制T级数据或删除大量小文件
1:快速大量小文件复制
a. 本机不同磁盘之间复制:
复制目录
$ tar cvf – /home/src_dir | tar xvf – -C /opt
复制文件
$ tar cf – access.log |tar xf – -C /opt
Tips:快速tar打包的一些小技巧以及常用的tar使用
tar 快速打包(仅打包不压缩传输,耗时比较短)
step1:从文件中生成文件列表
$ find . -name '*.jpg' -print > jpg.txt **** 匹配多个后缀格式 $ find . -regex '.*\.png\|.*\.jpeg\|.*\.jpg' -print >jpg.txt
若生成的文件列表比较大,可以借助split拆分成小文件进行并行打包. 若文件数较小,可忽略此步骤。
#将 文件 jpg.txt 分成若干个小文件,每个文件500000行(-l 500000),文件前缀为xiu_ ,系数不是字母而是 数字(-d),后缀系数为四位数(-a 4) $ split -l 500000 ../ jpg.txt -d -a 4 xiu_
step2: tar怎么从文件中读取文件列表呢?查了很久,用 -T
-T, --files-from Fget names to extract or create from file F
tips: 注意这里不要加 -v参数啦,对于大量文件,控制台输出是很浪费时间的...
$ tar -czf jpg.tar.gz -T yourfile **** 不压缩的话,可以直接打包, 比较快。 $ tar -cf jpg.tar.gz -T yourfile
tar 常用的一些命令
解包
$ tar xvf FileName.tar ## 或者 不输出文件,比较快$ tar xf FileName.tar
不解包查看打包内容
$ tar tvf FileName.tar
不解包统计打包内容文件数以及文件夹
### 统计文件数 $ tar tvf FileName.tar |grep "^-"|wc -l ### 统计文件加 $ tar tvf FileName.tar |grep "^d"|wc -l
b. 跨网络不同主机之间复制 tar+nc:
思路:在网络环境中传输时,打包再结合nc命令,通过管道和tcp端口进行传输。
比如 A往B主机传输数据
i. 在机器B上,用nc来监听一个端口,任意都行,只要不被占用;并且将收到的数据用tar展开。-l代表监听模式。
$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -
ii. 接着,在A上通过nc和 tar发送data_01目录。使用一致的34183的端口。
$ tar -zcvf - data_01 |nc 192.168.0.1 34183
2:快速删除大量小文件 或者 大文件
2.1: 快速删除大量小文件
rsync提供了一些跟删除相关的参数
rsync --help | grep delete --del an alias for --delete-during --delete delete files that don't exist on the sending side --delete-before receiver deletes before transfer (default) --delete-during receiver deletes during transfer, not before --delete-after receiver deletes after transfer, not before --delete-excluded also delete excluded files on the receiving side --ignore-errors delete even if there are I/O errors --max-delete=NUM don't delete more than NUM files
其中--delete-before 接收者在传输之前进行删除操作
可以用来清空目录或文件,如下:
1. 建立一个空目录mkdir -p /del_blank2. 确立需要清空的目标目录/del_data3. 使用rsync同步删除(注意目录后面的“/”),整体效率会快一个数量级的样子。rsync --delete-before -a -H -v --progress --stats /del_blank/ /del_data/选项说明:–delete-before 接收者在传输之前进行删除操作–progress 在传输时显示传输过程-a 归档模式,表示以递归方式传输文件,并保持所有文件属性-H 保持硬连接的文件-v 详细输出模式-stats 给出某些文件的传输状态 一般我们不需要显示进度,使用以下命令即可rsync --delete-before -a -H /del_blank/ /del_data/这样我们要删除的 del_data目录就会被清空了
2.2: 快速删除大文件
如何删除特别大的文件(数量级),比如nohup.out这样的实时更新的文件,动辄都是几十个G上百G的,也可
以用rsync来清空大文件,而且效率比较高 。
1、创建空文件
touch /data/blank.txt
2、用rsync清空文件
rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out
building file list ...
1 file to consider
blank.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
Number of files: 1
Number of files transferred: 1
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 27
File list generation time: 0.006 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 73
Total bytes received: 31
sent 73 bytes received 31 bytes 208.00 bytes/sec
total size is 0 speedup is 0.00
** tips:
当SRC和DEST文件性质不一致时将会报错 当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件 当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录 最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事 最核心的内容是:rsync实际上用的就是替换原理
Linux快速复制T级数据或删除大量小文件相关推荐
- 两台windows内网之间快速复制大量(上百万个)小文件(可用于两台服务器之间)...
用各种FTP工具(各种主动被动)都不好使.经测试,用以下的(协议.工具等),在双千兆网卡下,传输大量1M的文件可以达到每秒60多M: windows文件共享(SMB协议)(若是08 r2 数据中心版, ...
- Linux快速复制或删除大量小文件
前言 公司需要输送给网安部一批数据集,共计1550w张图片,大约3,5T. 处理过程中同时参考网上的一些方法的实践总结. 1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar c ...
- Linux 快速删除大量小文件方法
Linux 快速删除大量小文件方法 当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间.在这种情况之下我们可以使用linux系 ...
- Ubuntu快速删除大量小文件方法
进行以下两步操作即可: 1.第一步:创建空的文件夹: mkdir /tmp/blank 2.第二步:执行以下命令:rsync --delete-before -d /tmp/blank/ /home/ ...
- Linux快速复制或删除大量小文件 1
在Linux下需要对大量小文件进行移动或复制时,用cp.mv都会显得很没有效率,可以用tar先压缩再解压缩再结合nc使用网络传输的方式. 一.快速复制 1.不同磁盘下复制 # tar cvf - /s ...
- 【✅windows奇怪的知识增加了✅】windows系统下快速删除海量小文件方法
背景 测试收图demo等,会在本地保存大量图片文件,时间一长,会有多哒几十个GB的数据,占用大量磁盘空间.使用windows的右键删除耗时完全不靠谱,需要十几个小时.尝试了shift+del还是很慢. ...
- find命令删除大量小文件
在Linux下使用 "rm -rf *" 试图删除非常大量的小文件时,可能会报类似下边的错误: /bin/rm: Argument list too long. 这是因为通配符&q ...
- linux 快速删除大量小文件(数十万级别)
进行以下两步操作即可: # 第一步:创建空的文件夹: mkdir /tmp/blank# 第二步:执行以下命令: rsync --delete-before -d --progress /tmp/ ...
- linux快速删除大量目录,Linux 快速删除大量小文件方法
当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间.在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理.rsync实际 ...
最新文章
- 数梦工场联手阿里云 推出大数据一体机
- hololens离线安装包都收集齐了
- Facebook开源NLP建模框架PyText,从论文到产品部署只需数天
- Python脚本完美解决Linux环境解压.zip文件乱码问题
- S3C2440时钟体系结构
- java gui 控制台_在GUI面板中创建Java控制台
- SQL Performance Analyzer SPA常用脚本汇总
- 信息学奥赛一本通(2045:【例5.13】蛇形填数)
- ROS :为IDE配置环境变量
- [转] Linux C语言 段错误bug的调试
- 《复联》里的黑科技距离现实有多近?
- BFS算法(广度优先搜索)java
- DBeaver 安装及配置离线驱动
- html关机命令,shutdown关机命令不起作用
- 全球最大湾区|微信大数据:《粤港澳大湾区智慧生活圈报告》
- Unity3D 点击物品交互动画制作——开箱子和关箱子
- 微信小程序在线点餐外卖小程序实现方法适合校园点餐毕业设计小程序(含代码解释)
- 511遇见易语言注册调用乐玩插件类模块封装
- Python | 使用时间模块编写倒计时程序
- 苏州大学linux课程实验报告,苏州大学实验报告-定时溢出中断实验报告