linux大文件分割与合并

2024-05-10 00:54:45

前言

近日由于网上下载了很多图片，然后花了很长一段时间进行压缩，压缩完成后一看，128G多，由于机器在远程，本来想通过百度网盘进行备份，后来提示最大单个文件只能4G大小，无奈只能手动切割大文件。

查了相关命令，发现可以通过组合split命令和cat命令来实现：

split 命令

　　功能说明：切割文件。

　　语　　法：split [–help][–version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

　　补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。

　　参　　数：

　　-<行数>或-l<行数> 　指定每多少行就要切成一个小文件。

　　-b<字节> 　指定每多少字就要切成一个小文件。支持单位:m,k

　　-C<字节> 　与-b参数类似，但切割时尽量维持每行的完整性。

　　–help 　显示帮助。

　　–version 　显示版本信息。

　　[输出文件名] 　设置切割后文件的前置文件名，split会自动在前置文件名后再加上编号。

　　使用例子：

　　split -b 100m filename

cat命令

cat主要有三大功能：
1.一次显示整个文件。$ cat filename

2.从键盘创建一个文件。$ cat > filename

3.将几个文件合并为一个文件： $cat file1 file2 > file

这里主要用到第三个功能，当然cat命令最常用的应该是显示了。

具体命令

split -b 3500m vgg.tar.gz vgg_split/split_cat vgg_split/split_* >vgg.tar.gz

1
2
3
4

通过这样就可以实现简单的大文件的分割与合并。

linux大文件分割与合并相关推荐

linux大文件分割 split命令
原文地址为: linux大文件分割 split命令 inux split 命令功能说明:切割文件. 语法:split [--help][--version][-<行数>][-b < ...
使用python实现大文件分割与合并
在平常的生活中,我们会遇到下面这样的情况: 你下载了一个比较大型的游戏(假设有10G),现在想跟你的同学一起玩,你需要把这个游戏拷贝给他. 然后现在有一个问题是文件太大(我们不考虑你有移动硬盘什么的情 ...
linux 大文件切割和合并 tar分割和合并
要将目录logs打包压缩并分割成多个1M的文件,可以用下面的命令: tar cjf - logs/ |split -b 1m - logs.tar.bz2. 完成后会产生下列文件: logs.ta ...
linux 传输大文件大小,Linux大文件传输(转)
我们经常需要在机器之间传输文件.比如备份,复制数据等等.这个是很常见,也是很简单的.用scp或者rsync就能很好的完成任务.但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重 ...
Linux：split 文件分割和合并
一.简介 Linux服务器普通的文件上传下载一般用 sz rz 就可以满足要求了,但是遇到大文件(超过4G)时就不好使了. 这是就可以通过将大文件分割为小文件传输,之后再进行文件合并即可. 二.用法 ...
Linux文件分割与合并：splitcat（转载）
转自:http://os.51cto.com/art/201104/255359.htm Linux下文件分割可以通过split命令来实现,而用cat进行文件合并.而分割可以指定按行数分割和安大小分割 ...
php+如何按文字分割文件夹,PHP实现的大文件切割与合并功能示例
本文实例讲述了PHP实现的大文件切割与合并功能.分享给大家供大家参考,具体如下: 分割代码 split.php $i = 0; //分割的块编号 $fp = fopen("hadoop.sq ...
c语言拆分文件,linux 将一个大文件分割成小的碎片文件命令：csplit
csplit命令用于将一个大文件分割成小的碎片,并且将分割后的每个碎片保存成一个文件.碎片文件的命名类似"xx00","xx01".csplit命令是split ...
PHP上传大文件分割文件上传
PHP上传大文件分割文件上传 PHP上传大文件分割文件上传作者:Eamonn 发布时间:2012-03-24 14:49 访问:523 分类:PHP & Mysql 最近遇到这么个情况, ...
c#文件分割与合并 part 1 (转自互联网)
这是一篇简单介绍了使用c#来进行文件的合并和分割,我在我的项目中,需要使用到这个模块的功能,所以自己实践之后,发于此,以作备份: 首先,我们先来做文件分割的部分,我们新建了个winform项目,项目设 ...

最新文章

热门文章