python切割txt文件_用Python实现大文本文件切割的方法

在实际工作中，有些场景下，因为产品既有功能限制，不支持特大文件的直接处理，需要把大文件进行切割处理。

当然可以通过UltraEdit编辑工具，或者从网上下载一些文件切割器之类的。但这些要么手工操作太麻烦，要么不能满足自定义需求。

而且，对程序员来说，DIY一个轮子还是有必要的。

Python作为快速开发工具，其代码表达力强，开发效率高，因此用Python快速写一个，还是可行的。

需求描述：

输入：给定一个带列头的csv文件，或者txt文件，或者其他文本文件。

输出：指定单文件内部行数的一系列可区分小文件。

开发环境：Python 3.6

代码如下：

# -*- coding: cp936 -*-

import os

import time

def mkSubFile(lines,head,srcName,sub):

[des_filename, extname] = os.path.splitext(srcName)

filename = des_filename + '_' + str(sub) + extname

print( 'make file: %s' %filename)

fout = open(filename,'w')

try:

fout.writelines([head])

fout.writelines(lines)

return sub + 1

finally:

fout.close()

def splitByLineCount(filename,count):

fin = open(filename,'r')

try:

head = fin.readline()

buf = []

sub = 1

for line in fin:

buf.append(line)

if len(buf) == count:

sub = mkSubFile(buf,head,filename,sub)

buf = []

if len(buf) != 0:

sub = mkSubFile(buf,head,filename,sub)

finally:

fin.close()

if __name__ == '__main__':

begin = time.time()

splitByLineCount('盂县.csv',600000)

end = time.time()

print('time is %d seconds ' % (end - begin))

测试结果：

1.4GB的csv文件，13列数据，切分成23个小文件，耗时55秒。

以上这篇用Python实现大文本文件切割的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

python切割txt文件_用Python实现大文本文件切割的方法相关推荐

python删除重复值所在的行数_使用python读取txt文件的内容,并删除重复的行数方法...
注意,本文代码是使用在txt文档上,同时txt文档中的内容每一行代表的是图片的名字. #coding:utf-8 import shutil readDir = "原文件绝对路经" ...
python读取txt文件为dataframe,python批量读取txt文件为DataFrame
我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作.比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢? 首先我们要 ...
python读取txt文件并求和,Python读取txt文件数据的方法(用于接口自动化参数化数据)...
小试牛刀: 1.需要python如何读取文件 2.需要python操作list 3.需要使用split()对字符串进行分割代码运行截图 : 代码(copy) #encoding=utf-8 #1.r ...
python生成wps文件_使用Python操作XLS文件（wps中叫et）
一旦TE需要* *信息的列表,我导出一个txt文件与python和扔给他们,但是他们很不开心,哈哈,因为他们想要将数以百计的数据放到xls文件列表输出,工作数量太大,所以我问我出口成xls文件然后给他 ...
python导入txt文件并绘图-Python实现读取txt文件中的数据并绘制出图形操作示例
本文实例讲述了Python实现读取txt文件中的数据并绘制出图形操作.分享给大家供大家参考,具体如下: 下面的是某一文本文件中的数据. 6.1101,17.592 5.5277,9.1302 8.51 ...
python导入txt文件并绘图-Python实现读取txt文件并画三维图简单代码示例
记忆力差的孩子得勤做笔记! 刚接触python,最近又需要画一个三维图,然后就找了一大堆资料,看的人头昏脑胀的,今天终于解决了!好了,废话不多说,直接上代码! #由三个一维坐标画三维散点 #codin ...
python导入txt文件并绘图-Python读取txt某几列绘图的方法
晚上帮同学用Python脚本绘图,大概需求是读取一个txt文件的两列分别作为x和y的值,绘图即可,代码如下: #coding:utf-8 import numpy as np import matpl ...
python解压文件_使用Python实现文件压缩和解压
大家可能都熟悉.zip格式的文件.它可以把多个文件,压缩成一个文件.这在网络上传输时很有用,而且节省硬盘空间. 接下来,我们使用Python实现压缩和解压. 读取ZIP文件信息要读取ZIP文件的内容 ...
python创建txt文件并写入-python如何将数据写入本地txt文本文件
一.读写txt文件 1.打开txt文件file_handle=open('1.txt',mode='w') 上述函数参数有(1.文件名,mode模式) mode模式有以下几种:#w 只能操作写入 r ...

python切割txt文件_用Python实现大文本文件切割的方法

python切割txt文件_用Python实现大文本文件切割的方法相关推荐

最新文章

热门文章