BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训练 num

BrokenPipeError: [Errno 32] Broken pipe 解决

原因：
在训练过程中，设置的num_workers过大

修改为 num_workers=0 即可。

num_worker参数理解

下面作者讲的很详细，大致就是设置参数大的话，例如参数为10，就可以有10个线程来加载batch到内存。当然参数设置过大，而自己内存不够的情况下，就会出现线程管道破裂，即broken pipe ,所以一般默然设置为0.
当然：如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度更慢。
具体参考以下链接。
参考：pytorch中num_workers详解

BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训练 num_worker参数理解相关推荐

页面文件太小，无法解决/BrokenPipeError: [Errno 32] Broken pipe问题解决
跑模型的日子就是天天.天天地改bug,bug天天对我说"爱你",我只想让它滚出地球呜呜呜呜呜呜.为了表达我对它们的"爱意",我一定要把这几天的辛酸泪记录下来! ...
【YOLOv5】yolov5训练中遇到的问题解决：BrokenPipeError: [Errno 32] Broken pipe
硬件配置硬件设备:Windows + GeForce RTX 3070 + Cuda 11.1 +Anaconda yolo版本:YOLOv5-3.1 源码地址:https://github.com ...
pytorch错误解决： BrokenPipeError: [Errno 32] Broken pipe
该问题的产生是由于windows下多线程的问题,和DataLoader类有关原因是windows 下 DataLoader加载数据集启用线程的数目这一块,是有bug的 trainloader = D ...
Python的问题解决: IOError: [Errno 32] Broken pipe
Python的问题解决: IOError: [Errno 32] Broken pipe 参考文章: (1)Python的问题解决: IOError: [Errno 32] Broken pipe ( ...
MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))[MySQL插入内容超过4M]
MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))[MySQL插入内容超过4M] Bug描述: 用Python的pymysq ...
HBase: Thrift写数据报错——socket.error: [Errno 32] Broken pip
博主用的是python来读写hbase 需要安装 pip install thrift 和 pip install hbase-thrift hbase客户端创建: from thrift impor ...
调用 usb_control_msg 返回错误值 -32, Broken pipe, 对 hidraw write时返回错误值 -32, Broken pipe
-------------------Step 1--------------------- 如题,使用 libusb 对 hid 类设备进行控制传输的时候,有时会遇到此错误,但是实际上传输是成功的, ...
Bytetrack复现遇到的问题①Broken pipe
1.BrokenPipeError: [Errno 32] Broken pipe 根据本篇文章 BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训 ...
Mask R-CNN官方实现“又”来了！基于PyTorch，训练速度是原来2倍
晓查发自凹非寺量子位报道 | 公众号 QbitAI 来自官方的Mask R-CNN实现终于"又"来了!PyTorch官方Twitter今天公布了一个名为Mask R-CNN ...

BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训练 num_worker参数理解

BrokenPipeError: [Errno 32] Broken pipe 解决

num_worker参数理解

BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训练 num_worker参数理解相关推荐

最新文章

热门文章