linux传输文件特别慢,加快Linux文件拷贝速度的两大方法
在进行Linux文件拷贝中,文件较多的时候拷贝的速度非常慢,那么有什么办法能够加快文件拷贝的速度呢?下面小编就给大家介绍下加快Linux文件拷贝速度的方法。
第一种方法
首先,无论本地还是远程,需要移动或拷贝的文件较多且都不太大时,用cp命令和mv命令效率较低,可以先使用tar工具对将要拷贝/移动的内容进行打包/压缩,之后再进行拷贝/移动,最后再解包/解压缩。
另外,也是很关键的一个技巧,即,不必在tar打包/压缩完毕之后再进行拷贝,解包/解压缩,可以通过管道一边打包/压缩另一边执行拷贝解包/解压缩。
比如,tar命令可以和nc命令结合可以快速在两台机器之间传输文件和目录:
B机器:
代码如下:
《/p》 《p》 nc -l 5555 |tar -C /tmp/test/ -xf -《/p》 《p》
A机器:
代码如下:
《/p》 《p》 tar cf - /tmp/test/ |nc B‘IP 5555 《/p》 《p》
上述步骤将A机器/tmp/test/下的内容拷贝到B机器对应的目录中,其中tar cf - /tmp/test/ |nc B’IP 5555 将内容边打包边通过管道和nc命令传输到由对应IP地址和5555端口传到B机器,nc -l 5555 |tar -C /tmp/test/ -xf - 监听本机的555端口,并将接收到的内容解包至指定的目录(-C参数指定目标目录)
第二种方法
将tar与scp、ssh命令结合:
在A机打包后,复制到B机器并解包
代码如下:
《/p》 《p》 tar -cf - /tmp/test | ssh B‘IP “cd /tmp; tar -xf -”《/p》 《p》
在A机打包,并将打包好的文件复制到B机
代码如下:
《/p》 《p》 tar -cf - /tmp/test | ssh B’IP “cd /tmp; cat - 》 test.tar”《/p》 《p》 tar -cf - /tmp/test | scp - 《a href=“mailto:B‘USER@B’IP:/tmp”》B‘USER@B’IP:/tmp《/a》《/p》 《p》
将A机的打包文件,复制到B机并解包
代码如下:
《/p》 《p》 zcat test.tar | ssh B‘IP “cd /tmp; tar -xf -”《/p》 《p》
也可以直接在本地这么使用:
代码如下:
《/p》 《p》 cd /tmp/test1《/p》 《p》 tar -cf - 。 | (cd /tmp/test2 ; tar -xvpf -)《/p》 《p》
但有人试验后得出结论本地直接用cp较快
拷贝时除了拷贝单个文件还会拷贝目录,有时需要连同文件/目录的属性一同拷贝。可以在cp命令中使用-R参数递归拷贝目录,使用-p参数拷贝文件保留属性(默认是:mode,ownership,timestamps也可以通过 --preserve[=ATTR_LIST]指定要特别保留的属性如:context, links,xattr, all),使用-d参数拷贝文件保留连接。或者简单的使用-a参数(相当于使用-dR --preserve=all)
如果想看到拷贝大量小文件的进度可以写一个简单的小脚本:
代码如下:
《/p》 《p》 cd /tmp/test《/p》 《p》 for i in *《/p》 《p》 do《/p》 《p》 cp $i 目标目录《/p》 《p》 echo $i is ok.。。。《/p》 《p》 done《/p》 《p》
最后补充一条不是技巧的技巧:在使用一个工具完成一项任务之前,先思考当前用的工具是不是最适合的工具?有没有更好的工具或办法?如果工具确实很适用于当前任务,那么在使用该工具时有没有特殊的技巧可以提高工作效率?(通常,查看帮助文档可有意外收获)。
上面就是加快文件拷贝速度的方法介绍了,如果你要拷贝的文件比较多又比较散的话,使用上面介绍的方法能够加快拷贝速度,不妨试试看吧。
linux传输文件特别慢,加快Linux文件拷贝速度的两大方法相关推荐
- 将本机文件复制到安装的虚拟机系统中的两种方法
大家可直接跳到第二种方法,比较简单 第二种方法 一.第一种方法 1.首先打开虚拟机,选择自己安装的操作系统(已经安装的虚拟机系统),鼠标点击一下 2.在展开的操作系统详情页面,选择硬盘,鼠标左键双击 ...
- 夏普linux电视安装apk,海信电视u盘安装apk的两种方法,内附图文步骤
由于海信电视的系统会对第三方软件安装包进行屏蔽,所以初次使用U盘安装软件会发生找不到apk的情况.但实际安装方式很简单,下面以"蚂蚁市场"为例,分享两种安装apk的方法,并附上图文 ...
- java读取文件特别慢_如何提高在Java中读取大文件的速度?
我只读了一个大小为167MB且行号为1884000的文件.我使用的方法是BufferedReader,以获得读取它的效果. 我注意到,随着当前行号的增加,读取文件的过程越来越慢(在这种情况下,我花了3 ...
- arcgis分隔图层重复出文件_已知坐标点txt文件在ArcGIS中转换成shp数据的两种方法...
在平时工作中,经常会遇到只有txt坐标的勘测定界图等数据,通过以下操作步骤可将txt数据转换成shp数据. 方法一 1.打开txt数据,如下图所示,该数据为面数据,坐标系为西安80,投影方式是3度分带 ...
- PDF文件如何旋转页面,来教你这两种方法
PDF文件如何旋转页面呢?很多在用PDF文件的人都知道,PDF文件是一种不能直接编辑的文件,具有比较好的安全性,没有办法直接编辑,就不用说旋转页面了,想要给PDF文件旋转页面可以使用专业的PDF编辑软 ...
- C++-文件【1】-按行读文本文件的两种方法
测试环境-- 系统:Win7 64bit 编译器:TDM-GCC 4.9.2 64-bit Release #include <iostream> #include <fstream ...
- 提高计算机访问硬盘的速度慢,如何加快硬盘相应速度?6大方法提高-万兴恢复专家...
硬盘对于计算机系统的正常工作至关重要.它提供了大量的空间来存储数据.现在每个现代计算机系统都有一个快速和大型的硬盘驱动器,有助于快速检索文件和程序.但是,如果积累太多杂乱,即使最快和最大的硬盘驱动器也 ...
- linux 输出到文件 新,如何将Linux命令输出保存到文件的两种方法
本篇文章分享了如何将Linux命令行输出保存到文件中.文章分享了两种方法:一种是使用Linux IO重定向符号,一种是使用tee命令.tee命令比Linux IO重定向符号更好用. 当您在Linux终 ...
- linux删除0kb文件夹,肿么删除.nomedia文件
Android手机里媒体扫描往往是个耗电大户,它在后台不停的监控SD卡上所有文件夹中内容的变化,只有文件夹下有一个名为".nomedia"的文件的文件夹才会被跳过扫描..nomed ...
最新文章
- Python 远程连接服务器用它就够了
- linux 代码更新-打包-重启脚本
- 8086汇编语言显示带颜色的字符串程序学习 - 使用emu8086
- 动手敲10行代码读懂Python
- 2021版IDEA用Maven创建web项目
- Python requests 抓取网页状态返回418(亲测)
- BCVP,想真正为社区做努力的开发者们
- [Hei-Ocelot-Gateway ].Net Core Api网关Ocelot的开箱即用版本
- C#穿透session隔离———Windows服务启动UI交互程序
- 利用DB Link两步搞定Oracle两个数据库间的表同步
- 微课|中学生可以这样学Python(例5.8):凯撒加密
- ubuntu14.04(server amd64)免密码sudo
- 陈广老师 C#语言参考视频打包下载地址
- 【ADO.NET】7、SQL高级封装
- 百度首页被tn劫持的办法有那些、两种解决百度劫持的方法
- 《游戏设计艺术(第二版)》第十二章个人学习
- XRD .txt 格式转 .xrdml格式
- 钛资本研究院:全球产业链重构下的芯片机遇
- android DISALLOW_EVIL_CONSTRUCTORS
- 【小家Spring】注意BeanPostProcessor启动时对依赖Bean的“误伤”陷阱(is not eligible for getting processed by all...)