将大文本文件分割成多个小文件

本文介绍一种将一个大的文本文件分割成多个小文件的方法

方法一：

1.读取文章所有的行，并存入列表中
2.定义分割成的小文本的行数
3.将原文本内容按一定行数依次写入小文件中
4.此方法对较小的大文件比较适合

代码：

#coding:utf-8
#将大文本文件分割成多个小文本文件
import ossourceFileName = "test.log" #定义要分割的文件
def cutFile():print("正在读取文件...")sourceFileData = open(sourceFileName,'r',encoding='utf-8')ListOfLine = sourceFileData.read().splitlines()#将读取的文件内容按行分割，然后存到一个列表中n = len(ListOfLine)print("文件共有"+str(n)+"行")print("请输入需要将文件分割的个数:")m = int(input("")) #定义分割的文件个数p = n//m + 1print("需要将文件分成"+str(m)+"个子文件")print("每个文件最多有"+str(p)+"行")print("开始进行分割···")for i in range(m):print("正在生成第"+str(i+1)+"个子文件")destFileName = os.path.splitext(sourceFileName)[0]+"_part"+str(i)+".log" #定义分割后新生成的文件destFileData = open(destFileName,"w",encoding='utf-8')if(i==m-1):for line in ListOfLine[i*p:]:destFileData.write(line+'\n')else:for line in ListOfLine[i*p:(i+1)*p]:destFileData.write(line+'\n')destFileData.close()print("分割完成")cutFile()

方法二

依次读取指定行数的数据，并写入新的文件中，对于较大文件，采用此方法

import os#要分割的文件
source_file='track.log'#定义每个子文件的行数
file_count=10000 #根据需要自定义def mk_SubFile(lines,srcName,sub):[des_filename, extname] = os.path.splitext(srcName)filename  = des_filename + '_' + str(sub) + extnameprint( '正在生成子文件: %s' %filename)with open(filename,'wb') as fout:fout.writelines(lines)return sub + 1def split_By_LineCount(filename,count):with open(filename,'rb') as fin:buf = []sub = 1for line in fin:if len(line.strip())>0: #跳过空行buf.append(line)#如果行数超过指定的数，且数据为一个完整的记录，则将buf写入到一个子文件中，并初始化bufline_tag=line.strip()[0] #取每一行第一个字符，如果该行为空，会报错,故加上前面判断if len(buf) >= count and line_tag == '*': #每一个新的记录数据是从*标识开始buf = buf[:-1]sub = mk_SubFile(buf,filename,sub) #将buf写入子文件中buf = [line] #初始化下一个子文件的buf，第一行为*开头的#最后一个文件，文件行数可能不足指定的数if len(buf) != 0:sub = mk_SubFile(buf,filename,sub)print("ok")if __name__ == '__main__':split_By_LineCount(source_file,file_count)#要分割的文件名和每个子文件的行数

方法二中日志格式如下：

每一条完整的是记录是以*号开头，为了在子文件中不出现被截断的数据记录，因此需要确保每一个buf中是完整的记录，判断方法见代码

方法三：基于大小分割

# -*- coding: utf-8 -*-#这种方法是按照大小分割文件，会存在同一行被分割在两个文件中的情况import osfilename = "track.log"#需要进行分割的文件
size = 10000000 #分割大小10Mdef mk_SubFile(srcName,sub,buf):[des_filename, extname] = os.path.splitext(srcName)filename  = des_filename + '_' + str(sub) + extnameprint( '正在生成子文件: %s' %filename)with open(filename,'wb') as fout:fout.write(buf)return sub+1def split_By_size(filename,size):with open(filename,'rb') as fin:buf = fin.read(size)sub = 1while len(buf)>0:sub = mk_SubFile(filename,sub,buf)buf = fin.read(size)  print("ok")if __name__=="__main__":split_By_size(filename, size)

将大文本文件分割成多个小文件相关推荐

如何将一个文件分割成多个小文件
你也许会遇到到这样一个问题?当你有一个较大的软件,而无法用一张软盘将其全部拷下时,你也许会想到该将它分解开,分盘拷回去后,再将它们合并起来.现在的这种分割工具很多,你想自己动手做一个适合自己的分割工 ...
c语言文件分割与合并程序详解,如何实现将一个文件分割成多个小文件
你也许会遇到到这样一个问题?当你有一个较大的软件,而无法用一张软盘将其全部拷下时,你也许会想到该将它分解开,分盘拷回去后,再将它们合并起来.现在的这种分割工具很多,你想自己动手做一个适合自己的分割工具 ...
Java把一个大集合拆分成多个小集合，可以利用多线程提升并发处理效率
场景: 在开发中,如果一个集合中的数据量特别大,那么对这个集合进行循环处理业务可能就会比较耗时,为了提升效率,可以考虑把大集合拆分成多个小集合,然后用多线程对拆分后的多个小集合进行处理拆分: 1.拆 ...
python大列表分割成小列表_Python有什么方法将列表分割成大小均匀的块？求使用实例...
Python有什么方法将列表分割成大小均匀的块?求使用实例.我有一个任意长度的列表,我需要把它分成大小相等的块并对它进行操作.有一些很明显的方法可以做到这一点,比如保留一个计数器和两个列表,当第二个列 ...
php对视频分割,视频分割软件，将一个视频分割成多段小的视频，如何对视频进行剪切...
今天早上小编走在上班的路上,微风轻拂,树叶纷纷掉落,一片片泛黄的树叶,宛若落英一般纷飞,实在是美妙极了,正所谓一叶知秋,看着这满地落叶,小编不禁心想,是不是秋天快要到了.好了,不管秋天到不到,还是要继 ...
java将一个大文件拆分成几个小文件输出
java读取一个大文件写到多个小文件最近看Java面试中有问到关于利用java io流,读取一个大文件,然后输出到几个小文件的问题,这里自己写了个简单的sample public static vo ...
python将大文件拆分成多个小文件，同时对各小文件处理以节省时间
# test.py import json import osroot_path = os.path.dirname(__file__)def f(x):return xtest_datas = [] ...
视频分割软件，将一个视频分割成多段小的视频
如今已是深秋,正所谓一叶知秋,看着这满地落叶,大家期待的中秋佳节和十一小长假也就快要到来了,不过对于小编这样的剪辑爱好者当然是要在家中剪辑视频了.不知道有没有和小编一样的呢?今天小编要给大家分享一个分 ...
java 文件分隔_java 实现大文件分隔成多个小文件
public class FileTest { /** * 文件分隔器:给定文件的路径和每一块要拆分的大小,就可以按要求拆分文件 * 如果指定的块给原文件都还要大,为了不动原文件,就生成另一个文件,以 ...
将一张图片分割成多张小图片 Python3

将大文本文件分割成多个小文件

本文介绍一种将一个大的文本文件分割成多个小文件的方法

方法一：

方法二

方法二中日志格式如下：

方法三：基于大小分割

将大文本文件分割成多个小文件相关推荐

最新文章

热门文章