当对多个文件进行同样的预处理时，为了加快处理速度会使用Python多进程。每个进程返回数据给父进程，做最后的合并处理。

问题描述与分析

代码在处理大文件时候会抛出如下错误，但当处理的文件较小时候，一切正常。

concurrent.futures.process._RemoteTraceback:
"""
Traceback (most recent call last):File "/home/dxi/software/python3.7.9/lib/python3.7/concurrent/futures/process.py", line 205, in _sendback_resultexception=exception))File "/home/dxi/software/python3.7.9/lib/python3.7/multiprocessing/queues.py", line 364, in putself._writer.send_bytes(obj)File "/home/dxi/software/python3.7.9/lib/python3.7/multiprocessing/connection.py", line 200, in send_bytesself._send_bytes(m[offset:offset + size])File "/home/dxi/software/python3.7.9/lib/python3.7/multiprocessing/connection.py", line 393, in _send_bytesheader = struct.pack("!i", n)
struct.error: 'i' format requires -2147483648 <= number <= 2147483647

多进程时候，进程间数据交换是通过pickling，因为处理的文本都比较大，当数据pickled时候超过了i struct的限制，-2147483648 <= number <= 2147483647

Python3.8中在非windows平台修复了这个问题，可以支持最大4EB的数据。

解决方法

基于上述分析，可以尝试以下几种解决方法

将每个进程结果写入文件，最后汇总处理，这样避免进程间大量数据传递
代码中检查Python版本，低于3.8时候不使用多进程。
使用dask dataframe等Python并行处理库

参考文献

python struct.error: ‘i’ format requires -2147483648 <= number <= 2147483647

Python多进程 struct.error: ‘i‘ format相关推荐

struct.error: 'h' format requires -32768 number 32767
参考:https://blog.csdn.net/weiwangchao_/article/details/80395941 struct.error: 'h' format requires -32 ...
header = struct.pack(!i, n) struct.error: 'i' format requires -2147483648 number 2147483647
环境:ubuntu python3.6 在多进程之间交换(传递)大量数据时报错. 报错: Traceback (most recent call last): File "/usr/li ...
struct.error: ushort format requires 0 ＜= number ＜= 0xffff
这个问题是python struct 转bytes 的时候下面的就会报错 import struct print(struct.pack("H",65536)) H 的取值范围是 ...
python 网络编程 struct解包时报错 struct.error: unpack requires a buffer of 4 bytes
报错信息 D:\Donta_tensorflow-yolov3\python\python.exe D:/10_gitee/network_programming/避障程序信号及图像接收端/20100 ...
7.python wave.Error: unknown format: 65534 声音文件可以播放python读取不了
# @File :sound_cut.py # @Author: Wang Zhimin # @Date : 2019/10/12 import wave r= wave.open("D:/ ...
Python 多进程 multiprocessing 使用示例
参考:http://blog.csdn.net/qdx411324962/article/details/46810421 参考:http://www.lxway.com/4488626156.htm ...
python多进程详解
目录 python多进程序.multiprocessing 一.Process process介绍例1.1:创建函数并将其作为单个进程例1.2:创建函数并将其作为多个进程例1.3:将进程定义为 ...
取代Python多进程！伯克利开源分布式框架Ray
Ray由伯克利开源,是一个用于并行计算和分布式Python开发的开源项目.本文将介绍如何使用Ray轻松构建可从笔记本电脑扩展到大型集群的应用程序. 并行和分布式计算是现代应用程序的主要内容.我们需要利 ...
python 多进程异常处理
前言最近项目用到了Python作为网站的前端,使用的框架是基于线程池的Cherrypy,但是前端依然有一些比较'重'的模块.由于python的多线程无法很好的利用多核的性质,所以觉得把这些比较'重' ...
Python使用struct处理二进制
有的时候需要用python处理二进制数据,比如,存取文件,socket操作时.这时候,可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体. struct模块中最重 ...

Python多进程 struct.error: ‘i‘ format

问题描述与分析

解决方法

参考文献

Python多进程 struct.error: ‘i‘ format相关推荐

最新文章

热门文章