关于nn.ReLU(inplace=True)和nn.ReLU(inplace=False)的区别

可以把inplace当作是一个进行relu运算后输入变化与否的开关，True代表输入改变，False输入保持原样。验证代码如下：

>>> input = torch.randn(7)
>>> input
tensor([ 0.1571, -0.6665, -0.5410, -0.6172,  0.1348,  0.4602,  0.0018])
>>> m = nn.ReLU(inplace=True)
>>> out_m = m(input)
>>> out_m
tensor([0.1571, 0.0000, 0.0000, 0.0000, 0.1348, 0.4602, 0.0018])
>>> input
tensor([0.1571, 0.0000, 0.0000, 0.0000, 0.1348, 0.4602, 0.0018])
>>> n = nn.ReLU(inplace=False)
>>> input = torch.randn(7)
>>> input
tensor([ 1.8938, -0.6148, -0.2590, -0.0688, -0.7195, -0.1793, -1.0633])
>>> out_n = n(input)
>>> out_n
tensor([1.8938, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000])
>>> input
tensor([ 1.8938, -0.6148, -0.2590, -0.0688, -0.7195, -0.1793, -1.0633])

关于nn.ReLU(inplace=True)和nn.ReLU(inplace=False)的区别相关推荐

理解F.dropout 和nn.ReLU(inplace=True)中inplace的作用
根据pytorch>Docs > Autograd mechanics描述,inplace会用执行随机失活后的结果覆盖原来的输入,改变了存储值,但随机失活并不会影响梯度计算和反向传播. 具 ...
pytorch：nn.ReLU(inplace=True) 中的参数 inplane 的作用
pytorch 的激活函数nn.Relu() 有一个参数:inplace,其作用是:该nn.Relu() 函数计算得到的输出是否更新传入的输出. 正常情况下,一个卷积操作,首先经过卷积层,接着是正则化 ...
PyTorch中nn.ReLU(inplace=True)中inplace=True有什么用
nn.ReLU(inplace=True), 在pytorch里面,inplace默认是False的,这里我们设置成True, 它的意思是:是否将计算得到的值直接覆盖之前的值. 就是对上面conv2d ...
我们用PyTorch搭建神经网络时，会遇到nn.ReLU(inplace=True),inplace=True是什么意思呢？
我们用PyTorch搭建神经网络时,会遇到nn.ReLU(inplace=True),inplace=True是什么意思呢? nn.Conv2d(64,192,kernel_size=3,stride ...
pytorch torch.nn.MSELoss(size_average=True)（均方误差【损失函数】）Mean Squared Error（MSE）、SSE（和方差）
class torch.nn.MSELoss(size_average=True)[source] 创建一个衡量输入x(模型预测输出)和目标y之间均方误差标准. x 和 y 可以是任意形状,每个包含n ...
PyTorch中网络里面的inplace=True字段的意思
在例如nn.LeakyReLU(inplace=True)中的inplace字段是什么意思呢?有什么用? inplace=True的意思是进行原地操作,例如x=x+5,对x就是一个原地操作,y=x+5 ...
深度学习常用的激活函数以及python实现(Sigmoid、Tanh、ReLU、Softmax、Leaky ReLU、ELU、PReLU、Swish、Squareplus)
2022.05.26更新增加SMU激活函数前言激活函数是一种添加到人工神经网络中的函数,类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经元的内容. 此图来自百度百科,其中s ...
tf.nn.softmax_cross_entropy_with_logits 和 tf.contrib.legacy_seq2seq.sequence_loss_by_example 的联系与区别
文章目录 0.函数介绍 1.区别联系 1.1 tf.nn.softmax_cross_entropy_with_logits 1.2 tf.nn.sparse_softmax_cross_entrop ...
nn.Conv2d(nc, ndf, 4, 2, 1, bias=False)，nc、ndf是什么？
关于Conv2d的用法看文章:Conv2d_马鹏森的博客-CSDN博客用法: Conv2d(in_channels, out_channels, kernel_size, stride=1,padd ...

关于nn.ReLU(inplace=True)和nn.ReLU(inplace=False)的区别

关于nn.ReLU(inplace=True)和nn.ReLU(inplace=False)的区别相关推荐

最新文章

热门文章