问题

今天模型训练，遇到了个bug
先是在dataloder那报了这样一个错
RuntimeError: Caught RuntimeError in DataLoader worker process 0.
然后后面报
RuntimeError: Trying to resize storage that is not resizable
完整错误代码如下

Traceback (most recent call last):File "train_temp.py", line 100, in <module>for data in train_dataloader:File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 628, in __next__data = self._next_data()File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 1333, in _next_datareturn self._process_data(data)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 1359, in _process_datadata.reraise()File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/_utils.py", line 543, in reraiseraise exception
RuntimeError: Caught RuntimeError in DataLoader worker process 0.
Original Traceback (most recent call last):File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/worker.py", line 302, in _worker_loopdata = fetcher.fetch(index)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/fetch.py", line 61, in fetchreturn self.collate_fn(data)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 265, in default_collatereturn collate(batch, collate_fn_map=default_collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 143, in collatereturn [collate(samples, collate_fn_map=collate_fn_map) for samples in transposed]  # Backwards compatibility.File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 143, in <listcomp>return [collate(samples, collate_fn_map=collate_fn_map) for samples in transposed]  # Backwards compatibility.File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 120, in collatereturn collate_fn_map[elem_type](batch, collate_fn_map=collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 172, in collate_numpy_array_fnreturn collate([torch.as_tensor(b) for b in batch], collate_fn_map=collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 120, in collatereturn collate_fn_map[elem_type](batch, collate_fn_map=collate_fn_map)File "/data0/thw/anaconda3/envs/Denoising2/lib/python3.8/site-packages/torch/utils/data/_utils/collate.py", line 162, in collate_tensor_fnout = elem.new(storage).resize_(len(batch), *list(elem.size()))
RuntimeError: Trying to resize storage that is not resizable

解决

一开始，在博客上看到是num_works设置有问题，需要设置为0 或和显卡相同的数
当时，还是有点怀疑，因为之前还设置了16，显卡是4张，也没报错，还是尝试了下，看看问题解决没，（因为当时没想法了），果然，仍然报错
后来，看到这篇博客，感谢博主大大（点击），作者在末尾，提到数据维度不统一的问题，于是，就在dataloder中打印了下自己的数据维度，结果发现，输入的input和label的shape竟然不一样！！！！
一个是384*384*1，一个是256*256*1
要怀疑人生了>_<
然后，改了裁剪的大小，就好了^_^

琐碎

1 num_works是有多少个进程去加载数据，与显卡数量无关，只不过一般是相等，可以在训练的时候慢慢增加num_works直到加载数据速度无明显提升
2 数据集数据集！

RuntimeError: Trying to resize storage that is not resizable相关推荐

Trying to resize storage that is not resizeable 解决
先后尝试 .contiguous(),num_workers,最后发现是有个数据集输入特征维度不对.
ImageNet 数据集准备（用于分类）
ImageNet 数据集准备(用于分类) 主要内容改存储解压图片预处理常用命令常见BUG 文件传输出现`No space left on device`问题(如下) torch导入数据时出现 ...
【语义分割项目实战】Augmentor数据增强与U-Net的综合应用
之前已经介绍过了数据增强工具Augmentor的使用 [语义分割项目实战]基于Augmentor工具的语义分割中常见几种数据增强方式(一)_Bill-QAQ-的博客-CSDN博客以及简单的复现U-N ...
简单的 php 防注入、防跨站函数
/*** 简单的 php 防注入.防跨站函数* @return String*/function fn_safe($str_string) {//直接剔除$_arr_dangerChars = ar ...
php 接口防跨站,简单的 php 防注入、防跨站函数
自己写的简单的 php 防注入.防跨站函数,分享给大家 1.[代码][PHP]代码 function fn_safe($str_string) { //直接剔除 $_arr_dangerChars ...
关于Extjs gridpanel设置autoHeight:true时，横向滚动条的问题
使用gridpanel时我们有时需要给设置autoHeight:true,但这时如果表格的宽度大于它的容器的宽度,多余的内容就会被隐藏而不会出现横向的滚动条,费了老大劲儿才找到了解决办法,方法就是给g ...
KanziStudio应用程序配置详解
在 C++ 应用程序中,使用 onConfigure() 函数. 在 application.cfg 中,使用或不使用 C++ 应用程序设置 Kanzi Studio 工程的参数. While you ...
java fx详解_Java fx 坐标揭秘
scene graph 一张呈现为树结构的数据结构,java fx 的渲染系统是通过该数据结构来完成图形的渲染. 所有在树结构的每一个节点称为一个node 根节点(root)是唯一一个没有父母节点的 ...
RuntimeError: set_sizes_contiguous is not allowed on a Tensor created from .data or .detach().
报错信息如下: RuntimeError Traceback (most recent call last) ~\AppData\Local\Temp/ipykernel_19156/27953557 ...

RuntimeError: Trying to resize storage that is not resizable

问题

解决

琐碎

RuntimeError: Trying to resize storage that is not resizable相关推荐

最新文章

热门文章