drop_last=True

drop_last=True
当你使用了batch normalization的时候，如果batch_size设置得不合适，又没有使用 drop_last = true，那么可能会遇到以下错误

Expected more than 1 value per channel when training, got input size torch.Size([1, 1024])

解决方案：

https://discuss.pytorch.org/t/about-the-relation-between-batch-size-and-length-of-data-loader/10510/4

train_iter = torch.utils.data.DataLoader(train_dataset, batch_size = batch_size, shuffle = True, num_workers = num_workers, drop_last=True)

test_iter = torch.utils.data.DataLoader(test_dataset, batch_size = batch_size, shuffle = True, num_workers = num_workers, drop_last=True)

使用了drop_last = True, 可能会有以下后果：

比如 test set中有229个数据，如果batch size = 40, 那么就会有29个数据不会被使用。在每一个epoch中，就只有200个数据。229 - 40*5 = 29

再比如，batch size = 20, 那么就会有9个数据不会被使用。在每一个epoch中，就只有220个数据。 229 - 20*11 = 9
作者：宿安雅
https://www.bilibili.com/read/cv4956521/
出处： bilibili

drop_last=True相关推荐

收藏 | GPU多卡并行训练总结
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达仅作学术分享,不代表本公众号立场,侵权联系删除转载于:记忆的迷谷@ ...
Seq2Seq实现闲聊机器人
Seq2Seq实现闲聊机器人 1. 准备训练数据单轮次的聊天数据非常不好获取,所以这里从github上使用一些开放的数据集来训练我们的闲聊模型数据地址:https://github.com/cod ...
极简PaddlePaddle的房价预测Demo
简介: ※利用最简单的线性关系预测数据之间的相关性. 关键词: 线性相关,预测# #mermaid-svg-7sGsiuDJBmN3r5cU {font-family:"trebuchet ...
pytorch多进程加载数据
数据是提前准备,所以是在每次训练时,加载下一批的数据每个epoch最后一次,加载下一个epoch的数据. def DataLoaderProcess(list_path,cfg, args, dat ...
pytorch DataLoader
COCODataset 中返回numpy数组或者字典中包含numpy,会自动转换为tenser from torch.utils.data import DataLoaderdataloader =D ...
pytorch 数据加载性能对比
传统方式需要10s,dat方式需要0.6s import os import time import torch import random from common.coco_dataset impo ...
Pytorch 怎么构建自己的数据集。怎么重写官方数据集。
小白记录,大神勿扰小白入门的时候,发现,现有的基本都是直接类似这样的: trainset = datasets.MNIST('../MNIST', download=True,train=True, ...
GCN代码超详解析Two-stream adaptive graph convolutional network for Skeleton-Based Action Recognition（三）
代码地址https://github.com/lshiwjx/2s-AGCN 本篇解析对应 2s-AGCN/graph/ntu_rgb_d.py ,用于创建NTURGB-D对应的图结构,以及2s-AG ...
DataLoader 与 Dataset
一.总体概览二.具体详解 DataLoader源码 class DataLoader(Generic[T_co]):r"""Data loader. Combines ...
Lesson 11.1-11.5 梯度下降的两个关键问题反向传播的原理走出第一步：动量法开始迭代：batch和epochs在Fashion—MNIST数据集熵实现完整的神经网络
在之前的课程中,我们已经完成了从0建立深层神经网络,并介绍了各类神经网络所使用的损失函数.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具A ...

drop_last=True

drop_last=True相关推荐

最新文章

热门文章