python拆分大文件（大文件分割）

python拆分大文件

前言
实现过程
实验结果

前言

在工作中常常会遇见一些大文件，由于内容太多，使用比如记事本、notePad++等软件也打不开，无法查看内容，最好是将整个文件进行拆分，分开处理，现在处理的文件原本是5个G的大文件，最后拆分成了28个小文件。

实现过程

# -*- coding:utf-8 -*-
def Main_split():source = 'C:\\Users\\Desktop\\proc_create_20210228\\proc_create_20210228.json'# 此处一定要建上target文件夹，不然会报路径错误target = 'C:\\Users\\Desktop\\proc_create_20210228\\target\\'# 文件的行数的计数器num = 0# 文件序号name_num = 1# 用于存放数据dataStore = []# 设置为UTF-8编码with open(source, 'r', encoding='UTF-8') as file_content:for line in file_content:num += 1dataStore.append(line)# 设定每个文件为20万行if num == 200000:with open(target + "target_list_" + str(name_num) + ".json", 'w+') as file_target:for data in dataStore:file_target.write(data)name_num += 1num = 0dataStore = []# 处理最后一个文件，如果最后一个文件行数少于20万行，进行如下处理with open(target + "target_list_" + str(name_num) + ".json", 'w+') as file_target:for data in dataStore:file_target.write(data)if __name__ == "__main__":Main_split()

实验结果

python拆分大文件（大文件分割）相关推荐

python拆分大文本(.txt)文件
系列文章目录文章目录系列文章目录前言一.python拆分大文本文件 1.源码二.可能遇到的问题 1.原因排查 2.问题解决三.拆分源码二总结前言提示:以下是本篇文章正文内容,以拆分密 ...
python拆分合并文件_python实现文件的分割与合并
使用Python来进行文件的分割与合并是非常简单的. python代码如下: splitFile--将文件分割成大小为chunksize的块: mergeFile--将众多文件块合并成原来的文件: # ...
《Python和HDF 5大数据应用》——2.4　你的第一个HDF5文件
本节书摘来自异步社区<Python和HDF 5大数据应用>一书中的第2章,第2.4节,作者［美］Andrew Collette(科莱特),胡世杰译,更多章节内容可以访问云栖社区" ...
python从入门到大神---4、python3文件操作最最最最简单实例
python从入门到大神---4.python3文件操作最最最最简单实例一.总结一句话总结: python文件操作真的很简单,直接在代码中调用文件操作的函数比如open().read(),无需引包 ...
python图形分析_使用Python图形化分析大Log文件
最近因为项目需要经常分析数据量很大的Log文件,以往靠手工目测的分析方法已不太可能快速分析和定位问题. 由于和我一起做这个项目的同事,会使用Python,编写的Python脚本能够将Log中的相关数据 ...
【Python】原来处理大文件也可以这么简单？
文章目录前言一.开始二.处理文本三.串行处理五多进程处理六输出七并行处理总结前言为了进行并行处理,我们将任务划分为子单元.它增加了程序处理的作业数量,减少了整体处理时间. 例如,如 ...
Python使用pyinstaller打包成exe文件，并支持传入外部参（已解决打包后文件大的情况）
目录一.为什么要打包二.打包后文件大的问题三.外部传参 3.1.sys库 3.2.argparse库四.pyinstaller打包 4.1.安装包 4.2.打包命令 4.3.新环境打包五.运 ...
python 文件操作大总结对文件的增删改查,备份, 批量修改,创建和删除文件的备份
python 的文件操作文件的作用永久的保存数据文件中的内存保存在硬盘中硬盘中的数据都是 0 和 1, 软件将 0 和 1的组合转换成我们认识的汉字绝对路径和相对路径绝对路径:是从目录开始 ...
Python 打包项目生成exe文件大启动慢解决办法
目录一使用pyinstaller打包exe 1 首先安装pyinstaller 包 2 win+R,cmd 进度dos界面 3 进度代码目录内,然后使用pyinstaller -F main.py ...
python requests上传大文件_pythonrequestspost大文件和获取进度条
问题: python requests post 大文件和获取进度条描述: 准备用HTTP 在局域网内上传一些文件,文件一般都在1G左右r = requests.post('****', data ...

python拆分大文件（大文件分割）

python拆分大文件

前言

实现过程

实验结果

python拆分大文件（大文件分割）相关推荐

最新文章

热门文章