我在Linux上有一个250GB的压缩文件,我想将它拆分为250个1GB文件,并在运行时压缩生成的部分文件(只要一个文件被生成,它应该被压缩)。 我试图用这个 -将一个.gz文件拆分为多个1GB压缩(.gz)文件

zcat file.gz | split -b 1G – file.gz.part

但这产生未压缩的文件有很强的针对性。我修改它看起来像这样,但得到了一个错误:

zcat file.gz | split -b 1G - file.gz.part | gzip

gzip: compressed data not written to a terminal. Use -f to force compression.

For help, type: gzip -h

我也试过这一点,并没有抛出任何错误,但并未只要它们生成压缩零件文件。我假设这将在整个分割完成时压缩每个文件(或者它可以打包所有部分文件并在分割完成后创建单个gz文件,我不确定)。

zcat file.gz | split -b 1G - file.gz.part && gzip

我读here有一个过滤器的选择,但我的分裂版本(GNU的coreutils)8.4,因此过滤器不支持。

$ split --version

split (GNU coreutils) 8.4

请告知合适的方式来实现这一点,优选地使用一个衬里代码(如果可能的话)或壳(庆典/ KSH)脚本也将工作。

+0

我建议在某些脚本语言中编写自己的“split with gzip”变体。因为否则,您将不得不通过该250 GB文件多次读取(首先确定它的大小,然后在循环中始终采用一个拼接并对其进行gzip) –

+0

这些部件独立可解压缩的重要性如何?如果你只是运行'split -b 1G file.gz',你最终会得到250个文件部分,你可以把它们放在一起然后解压缩。 –

linux如何压缩为gz文件,将一个.gz文件拆分为多个1GB压缩(.gz)文件相关推荐

  1. linux中.sql.gz文件解压,linux下tar.gz、tar、bz2、zip等解压缩、压缩命令小结

    本文介绍了linux下的压缩程式tar.gzip.gunzip.bzip2.bunzip2.compress .uncompress. zip. unzip.rar.unrar等程式,以及如何使用它们 ...

  2. linux系统下tar/gz/7z/xz/bz2/zip等各种格式的打包压缩解压

    linux系统下总会遇到各种格式的压缩包,什么tar/gz/7z/xz/bz2/zip等等,每种格式文件的解压和压缩方法都不完全一致,所携带的参数也都各有千秋,初学者往往会一脸茫然,不知如何是好.于是 ...

  3. Linux tar.gz、tar、bz2、zip 等解压缩、压缩命令详解

    tar 最常用的打包命令是 tar,使用 tar 程序打出来的包我们常称为 tar 包,tar 包文件的命令通常都是以 .tar 结尾的.生成 tar 包后,就可以用其它的程序来进行压缩了,所以首先就 ...

  4. linux看zip的目录结构,无需解压如何查看一个归档或压缩文件的内容

    在本教程中,我们将学习如何在类 Unix 系统中查看一个归档或者压缩文件的内容而无需实际解压它.在深入之前,让我们先厘清归档和压缩文件的概念,它们之间有显著不同.归档是将多个文件或者目录归并到一个文件 ...

  5. Linux中文件、文件夹的创建、移动、删除、压缩及解压

    一.文件的创建 touch 1.touch 空格 文件名 默认在当前路径下创建文件 2.touch 空格路径/文件的名字 --指定路径下创建文件 1.touch 空格 文件名字1 路径/文件名字2 路 ...

  6. Linux中有关文件的命令总结(查看、编辑、压缩、配置)

    目录 一.文件查看命令 二.文件编辑命令 1.vim的三种模式 2.vim/vi 中常用命令 3.末行模式下的操作 三.文件压缩.解压命令 四.配置文件 1.什么是配置文件? 2.配置文件的设置方法 ...

  7. linux将压缩文件导入,[转载]通过vmware光驱把window上压缩文件导入到虚拟机中linux...

    你是否是会想这一个问题? 特别是在window上某个硬盘上的压缩文件,如php5.1.tar,想挂到虚拟机上跑的 linux中,却出现"mount:you must specify the ...

  8. linux .deb文件的解压与制作.deb包的压缩命令

    .deb文件是一种Debian Linux Package 文件,属于压缩文件.我们可以自己制作.deb包然后执行dpkg -i softname.deb实现一键安装软件. 制作deb包 dpkg-d ...

  9. c 文件夹打包解包_linux中文档的压缩与打包

    在Windows下,我们接触最多的就是rar格式的压缩文件,但是在Linux下,不能识别这种格式,它有自己独特的压缩工具.但.zip格式的文件在Windows和Linux下都能使用. Linux下最常 ...

最新文章

  1. 一条进程的栈区、堆区、数据区和代码区在内存中的映射
  2. T.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.reflection.Reflectio
  3. [Docker]记一次使用jenkins将镜像文件推送到Harbor遇到的问题
  4. AT2300-[ARC068C]Snuke Line【整除分块】
  5. apollo 参数传递_使用Apollo通过WebSocket通过STOMP轻松进行消息传递
  6. 信息学奥赛一本通 1110:查找特定的值 | OpenJudge NOI 1.9 01
  7. pytorch构建LSTM处理二分类任务
  8. axios 注册拦截器 cdn引用_CDN加速原理
  9. 第3章 控制程序流程(1)
  10. 『Python基础』第三节:变量和基础数据类型
  11. 物联网培训总结(C#)
  12. 信息收集知识及工具梳理
  13. 汉王考勤管理软件mysql数据库配置_汉王考勤管理软件使用说明书介绍.pdf
  14. 什么是OTDR测试仪?什么又是福禄克测试?
  15. 证券知识库:股票——基础概念
  16. 几个问题帮你认识“NIC”----网卡
  17. 微信小程序头像怎么改变形状_微信小程序 上传头像的实例详解
  18. 计算机化工应用答案,计算机化工应用习题及解答.pdf
  19. 韵语编年(之十二:1990——1994)
  20. mysql做十亿条数据查询_数据库优化:mysql数据库单机数十亿数据查询设计

热门文章

  1. office毕设论文格式教程
  2. 软件测试-微信点赞和APP功能测试用例
  3. Java的GUI编程---贪吃蛇游戏实现
  4. X.509证书解析程序(C++版)
  5. 电脑软件打不开,提示缺失某个.dll文件的原因及解决办法(亲测能用)
  6. 如何减少上下文切换?
  7. WIFI之一:WIFI常识 基站定位原理
  8. 【摘记】心:稻盛和夫的一生嘱托
  9. Redis 双写一致性问题分析
  10. 图形图像相关格式简介