将一个大文件分成若干个小文件方法

2019独角兽企业重金招聘Python工程师标准>>>

将一个大文件分成若干个小文件方法

例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式

先利用

wc -l BLM.txt 读出 BLM.txt 文件一共有多少行

再利用 split 命令

split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_

将文件 BLM.txt 分成若干个小文件，每个文件2482行(-l 2482)，文件前缀为BLM_ ，系数不是字母而是数字（-d），后缀系数为四位数（-a 4）

转载于:https://my.oschina.net/haokevin/blog/1555822

将一个大文件分成若干个小文件方法相关推荐

一个pdf怎么分成两个文件？怎样将一个pdf文件分成几个pdf文件或若干个？
pdf如何分割成多个文件?怎样将一个pdf文件分成几个pdf文件?我们在处理PDF文件的时候,难免会遇到各种各样的问题. 比如一个PDF文件里面页面比较多,但是有时候我们只需要其中的一部分内容,这个时 ...
将大文件夹下的小文件夹全部统一命名为拼音
将大文件夹下的小文件夹全部统一命名为拼音有时候我们需要自己做数据集如果数据集是中文那么我们在设置路径读取会出现乱七八糟的问题,所以最好采用全字符的类型让计算机进行读取. 文件读取前类型: # -*- ...
压缩pdf文件，自行调节清晰度从而调节文件大小，切分pdf文件为多个小文件，控制每个文件大小
前言因为内网,不能发送大于10M的文件,无奈只能将pdf切分进行压缩pdf文件,自行调节清晰度从而调节文件大小 import fitz import osdef covert2pic(zoom): ...
Hive Archive合并文件归档，减少小文件数量(推荐)
我们在使用Hive存储时,有时会遇到Hive表的文件大小不大,但是文件数量众多:这是可能会遇到HDFS的储存空间没到阈值,但文件数量超过阈值.如果小文件太多,容易影响整个集群的性能. 那么对于小文件多 ...
java把一个list_java 把一个大list分成N个小list，然后用map存储的小方法
有时候一个很大的list集合数据,万,百万级别的数据,但怕数据量过大,无法处理,可以分成N个小list然后分片处理数据.可以结合多线程来提高性能. 代码: package cn.uc.db.repor ...
将一个压缩文件分成多个压缩文件；RAR文件分卷
有时候需要上传压缩文件,但是限制了单个文件的大小,那我们怎么才能将一个比较大的压缩文件分割成多个压缩文件,从而符合要求的进行文件的上传呢?这里小编告诉你一个技巧. 工具/原料电脑 winrar(一般 ...
SM2SM4实现字符串和文件的数字信封(小文件不支持超过堆内存的大文件)
先解释一下什么是数字信封: 将对称密钥通过非对称加密(即:有公钥和私钥两个)的结果分发对称密钥的方法.大白话讲: 用对称秘钥对文件或字节加密,然后用非对称秘钥对对称秘钥的钥匙进行加密. 这里再解释一 ...
java文件存储系统_分布式小文件存储系统
#分布式图片存储系统(demo版) ##服务端启动流程: 1.启动nameserver: 运行ndfs.nameserver.NameServerMainClass的main方法.相应的端口和参数配置 ...
linux 将文件分成两部分,linux 将大文件分成小文件
最近lvm磁盘老报错,message文件大的惊人,想找个办法将这个文件分成若干的小文件来查看.无意中发现这个神器-----split 例如将一个message文件分成前缀为message_ 的100个 ...

将一个大文件分成若干个小文件方法

将一个大文件分成若干个小文件方法相关推荐

最新文章

热门文章