linux tar打包大文件并分割传输另一台linux服务器

场景
将linux服务器A中的数据文件迁移到linux服务器B，当文件很大的之后，压缩直接传输会出现传输很久，且中间一段暂停，又得重新上传。这时候需要可以将压缩的文件的分割传输然后解压合并。

linux服务器A文件压缩

> tar -czvp -f zhixing.tar.gz zhixing.sql

压缩包A分割多个文件包

> split -b 4000k zhixing.tar.gz split_zhixing.tar.gz

按4000k大小分割A.tar.gz 生成B.tar.gzaxxx
这时候，当前目录会生成
B.tar.gzaa B.tar.gzab B.tar.gzac B.tar.gzad B.tar.gzae等文件

linux文件A传输到文件linux服务器B
登录服务器A终端，执行下面命令：

scp /path/B.tar.gzaa username@B:/path
scp /path/B.tar.gzab username@B:/path
scp /path/B.tar.gzac username@B:/path
...

更多scp命令，参考https://www.linuxprobe.com/linux-scp.html

合并解压
进入服务器B，进入文件相关目录
合并传输的压缩文件

> cat split_zhixing.tar.gz* > zhixing.tar.gz

或者一个一个的合并

cat B.tar.gzaa >B_cat.tar.gz
cat B.tar.gzab >B_cat.tar.gz
cat B.tar.gzac >B_cat.tar.gz
....

解压压缩的文件

tar -zxvf B_cat.tar.gz
如上几步操作，即可实现将linux服务器A中的大数据文件迁移到linux服务器B
查看结果

linux tar打包大文件并分割传输另一台linux服务器相关推荐

linux文件传输到另一台linux,使用scp将文件/目录拷贝到另一台Linux主机上
如何将一台Linux主机上的文件或目录拷贝到另一台Linux主机上,scp命令可以实现该需求前提条件:两台Linux主机处于同一网段,可以互相ping通操作如下: 文件拷贝 ①将本地文件拷贝到远端 ...
(转)Linux传输大文件（分割传输）
1.分拆为多个文件的命令: cat workspace_2018.tar.gz | split -b 1G - workspace_2018.tar.gz. 命令解释: workspace_2018. ...
linux 打包排除多个目录,linux tar打包压缩排除某个目录或文件
linux tar打包压缩排除某个目录或文件用tar打包时想剔除打包目录中的某个子目录或文件: 比如你想打包/home这个目录,但是/home/www.phpernote.com/目录,/home/ ...
如何快速清空 Linux 中的大文件
本文总结了几种快速清空Linux中的大文件方法,快来看看对你有帮助吗? 1. 通过重定向到null清空文件内容使用 shell 重定向null(不存在的对象)到文件的最简单方法来清空文件内容 # & ...
Linux如何查找大文件或目录总结
在Windows系统中,我们可以使用TreeSize工具查找一些大文件或文件夹,非常的方便高效,在Linux系统中,如何去搜索一些比较大的文件呢?下面我整理了一下在Linux系统中如何查找大文件或文件 ...
VB 实现大文件的分割与恢复,引用 ADODB.Stream 提供一个过程代码
'VB 实现大文件的分割与恢复,引用 ADODB.Stream 提供一个过程: '要引用 Microsoft ActiveX Data Objects 2.5 Libary '或 Microsoft ...
java 输入流可以合并吗_Java 使用IO流实现大文件的分割与合并实例详解
java 使用IO流实现大文件的分割与合并文件分割应该算一个比较实用的功能,举例子说明吧比如说:你有一个3G的文件要从一台电脑Copy到另一台电脑, 但是你的存储设备(比如SD卡)只有1G ,这个时 ...
linux如何找大文件夹,Linux系统中如何查找大文件或目录文件夹的方法
Linux系统中如何查找大文件或文件夹的方法在Windows系统中,我们可以使用TreeSize工具查找一些大文件或文件夹,非常的方便高效,在Linux系统中,如何去搜索一些比较大的文件呢?下面我整 ...
gitbash执行linux二进制文件,Git大文件存储将帮助Git处理大型二进制文件
GitHub宣布 ,作为开源的Git扩展 ,Git大文件存储(Large File Storage,简称LFS)的目标是更好地把"大型二进制文件,比如音频文件.数据集.图像和视频" ...

linux tar打包大文件并分割传输另一台linux服务器

linux tar打包大文件并分割传输另一台linux服务器相关推荐

最新文章

热门文章