1 理论部分

首先说明一点，dropout是用来解决overfitting的，如果在训练集上实验效果就不理想，那么加了dropout也救不了。

1.1 training时的dropout

使用了Dropout之后，训练的时候，每个神经元都有p的概率不向后传递自己的信息。

把上图画×的申请元擦掉（因为这些神经元不传递自己的信息，在本轮training中是没有作用的），可以得到一个更“细”的神经网路

但这并不代表其他的神经元没有作用了。对每个mini-batch，我们重新计算那些神经元参与传递哪些没有。所以最后所有的参数都会被更新的。

1.2 testing时的dropout

测试模型的时候，神经元就都是相连的了，只不过权重值得乘以(1-p%)

从另一个视角看dropput，它相当于把一堆共享参数的model整合起来

2 pytorch实现Dropout

Dropout训练的时候，需要声明model.train()（不声明也行，因为默认是train状态）

Dropout测试的时候，则是需要声明model.eval()（如果不希望开启dropout进行训练，所有的神经元都参与前向传播和反向传播的话，在训练阶段开启前声明model.eval()即可）

#导入库
import torch#神经网络结构声明
net=torch.nn.Sequential(torch.nn.Linear(1,16),torch.nn.Dropout(p=0.5),torch.nn.ReLU(),torch.nn.Linear(16,2))net.train()
net.eval()
net
'''
Sequential((0): Linear(in_features=1, out_features=16, bias=True)(1): Dropout(p=0.5, inplace=False)(2): ReLU()(3): Linear(in_features=16, out_features=2, bias=True)
)
'''

pytorch 笔记：实现Dropout相关推荐

pytorch笔记：policy gradient
本文参考了策略梯度PG( Policy Gradient) 的pytorch代码实现示例 cart-pole游戏_李莹斌XJTU的博客-CSDN博客_策略梯度pytorch 在其基础上添加了注释和自 ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（2）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅰ
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
Pytorch笔记：风格迁移
Pytorch笔记:风格迁移训练模型:风格迁移网络+VGG16网络生成网络:风格迁移网络代码如下(根据陈云<深度学习框架:Pytorch入门与实践>的代码改动) main.py im ...
pytorch 笔记：使用Tune 进行调参
自动进行调参,我们以pytorch笔记:搭建简易CNN_UQI-LIUWJ的博客-CSDN博客的代码为基础,进行output_channel和learning rate的调参 1 导入库 from f ...
Introduction to PyTorch 笔记
文章目录 Introduction to PyTorch 笔记 Part 1 - Tensors in PyTorch (Solution).ipynb Part 2 - Neural Network ...
PYTORCH笔记 actor-critic （A2C）
理论知识见:强化学习笔记:Actor-critic_UQI-LIUWJ的博客-CSDN博客由于actor-critic是policy gradient和DQN的结合,所以同时很多部分和policy ...
pytorch 笔记：手动实现AR （auto regressive）
1 导入库& 数据说明 import numpy as np import torch import matplotlib.pyplot as plt from tensorboardX im ...
pytorch 笔记：tensorboardX
1 SummaryWriter 1.1 创建首先,需要创建一个 SummaryWriter 的示例: from tensorboardX import SummaryWriter#以下是三种不同的初 ...
pytorch 笔记：DataLoader 扩展：构造图片DataLoader
数据来源:OneDrive for Business 涉及内容:pytorch笔记:Dataloader_UQI-LIUWJ的博客-CSDN博客 torchvision 笔记:ToTensor()_U ...
pytorch 笔记：torchsummary
作用:打印神经网络的结构以pytorch笔记:搭建简易CNN_UQI-LIUWJ的博客-CSDN博客中搭建的CNN为例 import torch from torchsummary import ...

pytorch 笔记：实现Dropout

1 理论部分

1.1 training时的dropout

1.2 testing时的dropout

2 pytorch实现Dropout

pytorch 笔记：实现Dropout相关推荐

最新文章

热门文章

pytorch 笔记 ：实现Dropout

1 理论部分

1.1 training时的dropout

1.2 testing时的dropout

2 pytorch实现Dropout

pytorch 笔记 ：实现Dropout相关推荐

最新文章

热门文章

pytorch 笔记：实现Dropout

pytorch 笔记：实现Dropout相关推荐