大数据压缩处理：数据分卷压缩和分卷压缩解压

一、前言

二、数据分卷压缩

三、分卷压缩解压

一、前言

最近工作有个需求，用kettle run了好几天的数据，最终产生了1W个文件，94G的大小
公司作为供应商需要提供处理之后的数据给甲方，虽然提供了VPN，
但是网络不稳定会有数据丢失的情况，数据分卷压缩可以很好地解决这个问题
10G的数据，使用好压分卷压缩，每个分卷1G，压缩之后只有6.1G
然后再通过VPN上传到服务器就相对容易能保证数据的完整性

二、数据分卷压缩

1、右键点击文件，选择“添加到压缩文件”

2、压缩文件格式选择“7Z”，压缩分卷大小这里选择了1G

压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾，文件大小只有6.1个G

三、分卷压缩解压

分卷压缩文件只需要解压第一个文件，软件会自动识别压缩文件全部解压
需要注意的是每个分卷文件都缺一不可，并且在同一文件夹下，否则会解压失败
windows解压只需要右键点击第一个文件解压就可以全部解压

linux解压7z文件需要先安装解压工具

yum -y install p7zip

解压命令

7za x filename.7z.001

大数据压缩处理：数据分卷压缩和分卷压缩解压相关推荐

Unity 工具类之 WWW/UnityWebRequest 下载压缩文件(zip)，解压到本地且加载使用解压数据的简单案例（内也含压缩文件例子）
Unity 工具类之 WWW/UnityWebRequest 网络下载压缩文件(zip),解压到本地,且加载使用解压数据的简单案例(内也含压缩文件例子) 目录 Unity 工具类之 WWW/Uni ...
边打包边压缩边传输边解压
高效同步数据的方法及效率测试--边打包边压缩边传输边解压20150105 https://blog.csdn.net/xuyaqun/article/details/42422791 个人分类: 技术 ...
linux-linux常用命令总结四linux压缩、打包、解压命令软件安装管理rpm及yum的使用
一.压缩和打包概念压缩: 指通过某些算法,将文件尺寸进行相应的缩小,同时不损失文件的内容. 打包: 指将多个文件(或目录)合并成一个文件,方便传递或部署. 在Linux系统中,文件的后缀名不重要,但 ...
将一段压缩后的字符串解压，并且顺序输出
将一段压缩后的字符串解压,并且顺序输出. 算法描述: 解压规则: 每个字符串后面跟着一个数字,表示这个字符重复的次数. 例如:'a5'解压后为'aaaaa', 'abc3'解压后为'abcabcbac ...
C# 关于压缩、加密、解压问题
本文探讨的是关于C#TXT文件的压缩.加密以及解压问题,采用的是密钥方式,可以先进行加密再进行压缩包导入到桌面. 界面如下: 源文件:想要压缩的TXT文件,里边必须有东西,不然代码会报错压缩文件:要 ...
JPEG2000压缩DICOM文件的解压（一）
JPEG2000压缩DICOM文件的解压(一) 这几天写了一个JPEG2000压缩DICOM解压的下程序 DICOM文件中如果标签如下: 0002,0010里的值为 1.2.840.10008. ...
JPEG2000压缩DICOM文件的解压（三）
DICOM文件JPEG2000压缩与解压(三) QQ:2556741313 关键词:DCMTK.DICOM.JPEG2000 前面两篇关于DICOM文件JPEG2000解压的内容很简单,主要是没有那么 ...
zip(压缩) 和 *zipped（解压）_CodingPark编程公园
压缩 a = [1, 2, 3] b = [4, 5, 6] c = [4, 5, 6, 7, 8] zipped = zip(a, b) # 压缩 print(list(zipped)) 解压 a ...
ubuntu解压缩分卷压缩文件（同时解压多个文件）
有些文件压缩只压缩到一个压缩包的话会有很大体积,在传输过程中会经常受到各种限制. 比如有一个8g多的文件被分三卷压缩,如果我们是在Windows系统中可以随便下载一个解压缩工具(比如7-zip),选中 ...
7z压缩软件，7z.001 7z.002分卷之后的压缩包怎么解压
目录 1 问题 2 解决 1 问题我们有的文件是比较大,所以使用7z这个软件进行压缩,就是可以将大的压缩包分成几个小的压缩包 2 解决其实7z格式的文件WinRAR是可以解压的.7z.001这类文 ...

大数据压缩处理：数据分卷压缩和分卷压缩解压

一、前言

二、数据分卷压缩

三、分卷压缩解压

大数据压缩处理：数据分卷压缩和分卷压缩解压相关推荐

最新文章

热门文章