PyTorch - torch.nn.PReLU

flyfish

PReLU是Parametric ReLU
示例1

import torch
import torch.nn as nn
input = torch.arange(0, 12).view(1,3,2,2).float()
input = torch.randn(1,3,2,2)
print(input)
m = nn.PReLU(3)
output = m(input)
print(output)

计算过程
数学表达式：
PReLU(x)=max(0,x)+a∗min(0,x)PReLU(x)=max(0,x)+a∗min(0,x)PReLU(x)=max(0,x)+a∗min(0,x)
还可以这样写
f(yi)={yi,if yi>0aiyi,if yi≤0f\left(y_{i}\right)=\left\{\begin{array}{ll} y_{i}, & \text { if } y_{i}>0 \\ a_{i} y_{i}, & \text { if } y_{i} \leq 0 \end{array}\right.f(yi)={yi,aiyi, if yi>0 if yi≤0
代码是

a=0.25
print(torch.max(input,torch.FloatTensor([0.0]))  + a * torch.min(input,torch.FloatTensor([0.0])))

torch.nn.PReLU(num_parameters=1,init=0.25)

参数说明
其中a 是一个可学习的参数，当不带参数调用时，即nn.PReLU()，在所有的输入通道上使用同一个a，当带参数调用时，即nn.PReLU(nChannels)，在每一个通道上学习一个单独的a。

注意：当为了获得好的performance学习一个a时，不要使用weight decay。

num_parameters：要学习a的数量，可以输入两种值，1或者输入的通道数，默认是1

init：a的初始值，默认0.25

ReLU，LeakyReLU，PReLU比较

PyTorch - torch.nn.PReLU相关推荐

PyTorch : torch.nn.xxx 和 torch.nn.functional.xxx
PyTorch : torch.nn.xxx 和 torch.nn.functional.xxx 在写 PyTorch 代码时,我们会发现在 torch.nn.xxx 和 torch.nn.funct ...
pytorch torch.nn.MSELoss
应用 # 1.计算绝对差总和:|0-1|^2+|1-1|^2+|2-1|^2+|3-1|^2=6 # 2.求平均: 6/4 =1.5 import torch import torch.nn as n ...
pytorch torch.nn.Module.register_buffer
API register_buffer(name: str, tensor: Optional[torch.Tensor], persistent: bool = True) → None 注册buf ...
pytorch torch.nn.TransformerEncoderLayer
API CLASS torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activa ...
pytorch torch.nn.TransformerEncoder
API CLASS torch.nn.TransformerEncoder(encoder_layer, num_layers, norm=None) TransformerEncoder is a ...
pytorch torch.nn.Embedding
词嵌入矩阵,可以加载使用word2vector,glove API CLASS torch.nn.Embedding(num_embeddings: int, embedding_dim: int, ...
[Pytorch]torch.nn.functional.conv2d与深度可分离卷积和标准卷积
torch.nn.functional.conv2d与深度可分离卷积和标准卷积前言 F.conv2d与nn.Conv2d F.conv2d 标准卷积考虑Batch的影响深度可分离卷积深度可分离卷 ...
pytorch TORCH.NN 到底是什么？
PyTorch 提供了设计精美的模块和类torch.nn. torch.optim. Dataset和DataLoader 来帮助创建和训练神经网络.为了充分利用它们的力量并针对需求灵活的定制它们,需 ...
pytorch torch.nn.MSELoss(size_average=True)（均方误差【损失函数】）Mean Squared Error（MSE）、SSE（和方差）
class torch.nn.MSELoss(size_average=True)[source] 创建一个衡量输入x(模型预测输出)和目标y之间均方误差标准. x 和 y 可以是任意形状,每个包含n ...
pytorch torch.nn.Sequential(* args)（嘎哈用的？构建神经网络用的？）
class torch.nn.Sequential(* args) 一个时序容器.Modules 会以他们传入的顺序被添加到容器中.当然,也可以传入一个OrderedDict. 为了更容易的理解如何使 ...

PyTorch - torch.nn.PReLU

PyTorch - torch.nn.PReLU相关推荐

最新文章

热门文章