文件的切分split和结合工具cat介绍

从服务器上下载大文件，但网络环境不好，因此将大文件分成多个小文件，在使用rsync同步，会比直接同步或下载好许多。
按行(50000)将大文件分成小文件，每个小文件以'file_'为前缀，数字为其后缀。
split -d -l 50000 freeoa.bz2 file_

按大小(128m)将大文件分成小文件，每个小文件以'freeoa_'为前缀，26个字母为其后缀。
split -b 128m freeoa.bz2 freeoa_

将小文件组合为原来的大文件
for f in `ls file_*`; do cat $f >> orig_bigfile.bz2;done

下面将会把此种操作做深入的分析，以加强对其原理及方法的学习。

1、文件的切分及结合工具
可能我们遇到这种情况，有时文件比较大，想上传到服务器上，但由于服务器管理员为了安全考虑，把上传空间作了限制，比如只能上传20M的文件，如果我们文件的体积在100M的，有时就是压缩也不能满足服务器上传的限制。这时我们就要考虑切分文件了，把100M的文件，切分成若干份，然后传到服务器上。切分后的每个文件都是原文件的组成部份。如果要获得整个完整的文件，我们就需要文件的结合工具。

所以我们引入了文件切分工具split和csplit，文件的结合工具cat；
　　
2、文件的切分工具 split 和csplit
split 是把一个文件拆分为长度或体积相等的若干文件的工具；

2.1 split 工具
split 是把一个文件拆分为长度或体积相等的若干文件的工具；

文件的切分split和结合工具cat介绍相关推荐

大文件的切分--split命令选项详解
由于工作中需要处理很大的数据文件,使用split命令将其切分成较小的文件后再进行处理是一个不错的选择. 在默认情况下,split以1000行为单位进行切分,如果不足1000行的会另外输出到一个文件. ...
Linux文件的切分和结合
Linux文件的切分和结合 2008-04-28 15:13 1.文件的切分及结合工具: 可能我们遇到这种情况,有时文件比较大,想上传到服务器上,但由于服务器管理员为了安全考虑,把上传空间作了限制, ...
mapreduce 文件可以切分吗_MapReduce的任务流程
我们按照图中的流程,梳理一下MapReduce的任务流程. 初始时,是上述的一个文本.MapReduce接收到作业输入后,会先进行数据拆分. 数据拆分完成之后,会有多个小文本数据,每个小文本都会作 ...
java spring文件下载_SpringMVC实现文件上传和下载的工具类
本文主要目的是记录自己基于SpringMVC实现的文件上传和下载的工具类的编写,代码经过测试可以直接运行在以后的项目中. 开发的主要思路是对上传和下载文件进行抽象,把上传和下载的核心功能抽取出来分装成 ...
Linux系列学习（二） - Vim编辑器的介绍及使用、文件编译的过程、Makefile工具、Gdb调试器
目录引言: 基本命令补充: cat命令: man命令: head命令: tail命令: find命令: grep命令: grep命令与管道"|" 的结合使用: ta ...
JavaScript - 将 Allegro 坐标文件转为嘉立创坐标文件（CSV 格式）的工具
将 Allegro 坐标文件转为嘉立创坐标文件(CSV 格式)的工具 Allegro 坐标文件格式: 工具: <!DOCTYPE html> <html><head> ...
python 文件路径切分
见代码 # 文件路径切分 import ospath = "/Users/test0712.xlsx" # 利用路径分隔符进行切分,再用索引进行选择 print(path.spli ...
FileInputFormat类中split切分算法和host选择算法介绍
在hadoop源码的org.apache.hadoop.mapred包中,有个FileInputFormat类,这个类的主要作用是提供统一的getSplits函数.该函数实现中最核心的两个算法是 sp ...
php在线读取pdf文件大小_怎么压缩PDF文件？快来试试这些工具！
怎么压缩PDF文件?需要处理一些大体积的文件,我们首先想到的就是把它进行压缩.如果遇到的是PDF文件,知道该怎么去压缩吗?PDF压缩有一些简单又高效的方法,今天小编就选择两个觉得还不错的PDF压缩方法 ...

文件的切分split和结合工具cat介绍

文件的切分split和结合工具cat介绍相关推荐

最新文章

热门文章