【pytorch报错】num_workers深度理解 OSError: [WinError 1455] 页面文件太小,无法完成操作
解决方法： 将num_workers设置为0
dataloader_train = DataLoader(dst_train, shuffle=True, batch_size=int(config.batch_size),num_workers=config.num_workers)
num_workers是什么？
dataloader一次性创建num_worker个工作进程，并用batch_sampler将指定batch分给指定worker，worker将它负责的batch加载进RAM。
然后，dataloader从RAM中找本轮迭代要用的batch。如果找到了，就使用。如果没找到，就要num_worker个worker继续加载batch到内存，直到dataloader在RAM中找到目标batch。一般情况下都是能找到的，因为batch_sampler指定batch时当然优先指定本轮要用的batch
num_workers设置为0，就是没有worker了吗？
num_worker设置得大，好处是寻batch速度快，因为下一轮迭代的batch很可能在上一轮/上上一轮…迭代时已经加载好了。坏处是内存开销大，也加重了CPU负担（worker加载数据到RAM的进程是CPU复制的嘛）。num_workers的经验设置值是自己电脑/服务器的CPU核心数，如果CPU很强、RAM也很充足，就可以设置得更大些。
如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度更慢。
【pytorch报错】num_workers深度理解 OSError: [WinError 1455] 页面文件太小,无法完成操作相关推荐
- OSError: [WinError 1455] 页面文件太小,无法完成操作和AttributeError: ‘NoneType‘ object has no attribute ‘_free_wea
在网上查找了几个方法: 方法一:将代码中数据读取的地方,文件在 yolov5\utils\datasets.py,num_workers设置为0:最新的yolov5代码没有datasets.py文件, ...
- OSError: [WinError 1455] 页面文件太小，无法完成操作。 Error loading “C:\Users\rg\.conda\envs\pytorch\lib\site
问题描述: OSError: [WinError 1455] 页面文件太小,无法完成操作. Error loading "C:\Users\rg\.conda\envs\pytorch\li ...
- “OSError: [WinError 1455]页面文件太小，无法完成操作。”解决方案
"OSError: [WinError 1455]页面文件太小,无法完成操作"解决方案 引言 1 问题原因 2 解决方案 引言 某次在Windows系统上跑深度强化学习多进程程序时 ...
- OSError: [WinError 1455] 页面文件太小，无法完成操作。 Error loading “C:\ProgramData\Anaconda3\lib\site-packages\to
完整报错OSError: [WinError 1455] 页面文件太小,无法完成操作. Error loading "C:\ProgramData\Anaconda3\lib\site-pa ...
- OSError: [WinError 1455] 页面文件太小，无法完成操作的问题——格局打开
跑yolov5-5.0 6.0都会报OSError: [WinError 1455] 页面文件太小,无法完成操作的问题 可以优先参考多种方法彻底解决pycharm中: OSError: [WinErr ...
- OSError: [WinError 1455] 页面文件太小，无法完成操作
很多文章会告诉你是Pycharm运行久了,如何累积进程导致分配的虚拟内存不够用,如何重启Pycharm就行了.真实情况不是这样的,无论重启多少遍都没有用,真实原因是你装的pycharm大多装在D盘上, ...
- 解决yolov5算法运行过程中，OSError: [WinError 1455] 页面文件太小，无法完成操作的问题
一.出现问题的原因 默认情况下D盘是没有分配虚拟内存的,所以将Pycharm装在D盘的,在跑程序的时候,没有分配虚拟内存,就会遇到上面的问题.所以,只要给D盘分派虚拟内存即可.如果Python安装在C ...
- pycharm/pytorch OSError: 页面文件太小，无法完成操作（改变虚拟内存大小）
训练pytorch yolov5的时候报错 解决办法,改变虚拟内存大小 设置好要重启才生效 好像不大对,要改成自定义大小:
- 安装pytorch报错及解决
环境,win10,64位,Anaconda4.10.3,Cuda 9.2.148,cudnn应该为v7.4.2.24 其中在Anaconda中好像安装tensorflow-gpu 1.9 ,pytho ...
最新文章
- 写一个图片预览器（react-native）,温习一下初中数学
- 退出出库复核是什么意思_干货 | 电商仓储与传统仓储有什么不同？
- lvs+iptables持久连接
- Windows下查看dll被哪个进程调用
- 我国人工智能专利申请量去年超3万件，广东领先
- C语言Cruskal算法查找最小生成树(附完整源码)
- 重磅发布 | 承载亿级流量的开发框架，闲鱼Flutter技术解析与实战大公开
- VMware VIC
- cxxtest单元测试框架源码分析(二)：所有对外功能实现分析
- KVM 通过virsh console连入虚拟机
- lua 差值 日期_lua时间戳和日期转换及踩坑
- ROS入门-8.发布者Publisher的编程实现
- Excel GET.DOCUMENT说明
- linux快速删除大文件rsync,（总结）Linux下使用rsync最快速删除海量文件的方法
- 用钩子程序实现根据一个表的字段更新另一个表的字段
- 适合笔记本电脑看Kindle MOBI 电子书的软件
- 方差分析MATLAB实现
- 华为携西班牙电信于智利设立NB-IoT开放实验室
- linux打包4g文件,怎么从Linux服务器上下载超过4G的文件？
- 洛谷 U80341 想去玩的Seaway