一、解决方案

dataloader设置参数 drop_last=True¹ 丢弃掉最后单独的样本
在训练前用num_of_samples % batch_size 算一下会不会正好剩下一个样本²
如果模型只inference，无需更新参数可以设置model.eval()
修改源码，注释掉相关判断的源码³ (自己心理得有数)

我遇到的问题比较奇怪，使用BatchNorm1d报错，但是BatchNorm2d就正常…

二、问题分析

ValueError: Expected more than 1 value per channel when training, got input size torch.Size xxx

如果输入的batch size = 1就抛出ValueError，那我的BatchNorm2d是如何正常运行的?.. 继续调试：

明明输入的batch_size=1，突然变成500了
擦。。输入的是：torch.Size([1, 128, 500, 1]) 经过上一行标黄处代码，size_prods变了
如果输入torch.Size([1, 512])，size_prod不会改变

为什么使用BatchNorm1d报错，但是BatchNorm2d就正常... 原来是我应用它俩的场景不一样

三、深入分析，修改源码

BN详解⁴:Batch Normalization 学习笔记
需要明确，输入的batch_size=1 或者较小的话确实会影响BN参数的更新，以至于可能影响模型最后的效果

由于个人原因，需要batch_size=1时候的实验数据，故此记录

将相关代码注释，保留源函数加个pass空操作 - 插眼

解决报错：ValueError: Expected more than 1 value per channel when training ↩︎
Pytorch的12个坑 ↩︎
解决raise ValueError(“Expected more than 1 value per channel when training, got报错(亲测有效) ↩︎
Batch Normalization 学习笔记 ↩︎

【pytorch】ValueError: Expected more than 1 value per channel when training相关推荐

Debug Pytorch: ValueError: Expected more than 1 value per channel when training, got input size tor
ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 512] ...
bn层Expected more than 1 value per channel when training, got input size torch.Size
报错代码: File "E:/project/fenge/jacke121-U-2-Net-master_mse/nets/bisnet.py", line 106, in for ...
【Pytorch】常见的人脸身份识别损失函数
[Pytorch]常见的人脸身份识别损失函数实验环境准备:人脸多角度多光照的图像数据集MUCT(276个受试者)+ MobileNetV3 说明:对于人脸身份数据集MUCT,是少样本数据集,应该使用 ...
【PyTorch】8 语言翻译Torchtext实战——英语和德语翻译、Attention模型、 Pytorch 1.8 安装
torchtext 语言翻译 1. 数据处理 2. DataLoader 3. 定义nn.Module和Optimizer 4. 训练 4.1 Pytorch 1.8 安装 4.2 训练网络 5. 测 ...
【Pytorch】| Pytorch中softmax的dim的详细总结
[Pytorch]| Pytorch中softmax的dim的详细总结关于softmax的理解一维向量:dim=0和dim=-1结果相同,dim=1和dim=2会报错二维张量:dim=1和dim ...
【PyTorch】09深度体验之图像分类
9 PyTorch深度体验图像分类(Image Classification) [PyTorch]8.1 图像分类 9.1 模型如何完成图像分类? 图像分类的推理步骤: 9.2 ResNet18模型 ...
【PyTorch】构造VGG19网络进行本地图片分类（超详细过程）——项目介绍
本篇博客主要解决以下3个问题: 如何自定义网络(以VGG19为例). 如何自建数据集并加载至模型中. 如何使用自定义数据训练自定义模型. 第一篇:[PyTorch]构造VGG19网络进行本地图片分类( ...
【金融】【pytorch】使用深度学习预测期货收盘价涨跌——全连接神经网络模型构建与训练
[金融][pytorch]使用深度学习预测期货收盘价涨跌--全连接神经网络模型构建与训练模型构建与训练模型构建与训练 def get_accuracy(SR,GT,threshold=0.5):S ...
【金融】【pytorch】使用深度学习预测期货收盘价涨跌——LSTM模型构建与训练
[金融][pytorch]使用深度学习预测期货收盘价涨跌--LSTM模型构建与训练 LSTM 创建模型模型训练查看指标 LSTM 创建模型指标函数参考<如何用keras/tf/pytorc ...

【pytorch】ValueError: Expected more than 1 value per channel when training

ValueError: Expected more than 1 value per channel when training

一、解决方案

二、问题分析

三、深入分析，修改源码

【pytorch】ValueError: Expected more than 1 value per channel when training相关推荐

最新文章

热门文章