nn.PReLU()和nn.ReLU

2024-03-26 17:59:26

1、nn.PReLU()

nn.PReLU(num_parameters: int = 1,init: float = 0.25,device=None,dtype=None,
)

PReLU的公式：

$\text{PReLU}(x) = \max(0,x) + a * \min(0,x)$

或者：

$\text{PReLU}(x) = \begin{cases} x, & \text{ if } x \geq 0 \\ ax, & \text{ otherwise } \end{cases}$

其中a代表的是可学习的参数：

（1）当不带参数时（nn.PReLU()），PReLU就使用一个a计算所有通道，即所有通道对应同一个a；

（2）当有参数时（nn.PReLU(nchannels)），PReLU在每个通道使用不同的a；

通道dim是input的第二个dim。当输入的 dims < 2 时，没有通道 dim 且通道数 = 1。同时输入和输出的形状是一样的。

PReLU()参数解析：

num_parameters：表示学习的参数，只有两个值是合法的，默认为1，或者是输入的通道数
init：a的初始值，默认为0.25；
device:None
dtype:None

m = nn.PReLU()
input = torch.randn(4)
print(input)
output = m(input)
print(output)

tensor([-0.6559, -0.3400, -0.5796,  1.2480])
tensor([-0.1640, -0.0850, -0.1449,  1.2480], grad_fn=<PreluBackward0>)

m = nn.PReLU(2)
input = torch.randn([2,2])
input.unsqueeze(0)
print(input)
output = m(input)
print(output)

tensor([[-0.7314,  0.0393],[ 0.0932, -0.7079]])
tensor([[-0.1828,  0.0393],[ 0.0932, -0.1770]], grad_fn=<PreluBackward0>)

2、nn.ReLU()

nn.ReLU(inplace: bool = False)

$\text{ReLU}(x) = (x)^+ = \max(0, x)$

inplace: 即原地操作符，直接在原来的内存上改变变量的值，这里是默认False

相比PReLU是没有可学习的参数a；同样它的输入和输出的形状是保持一致的；

m = nn.ReLU()
input = torch.randn(2)
print(input)
output = m(input)
print(output)

tensor([-0.0453,  1.5118])
tensor([0.0000, 1.5118])

3、两者的比较

4、总结

ReLU函数的计算是在卷积之后进行的，它和tanh函数和sigmoid函数一样，都属于非线性激活函数。ReLU函数的倒数在正数部分是恒等于1的，因此在深度网络中使用relu激活函数就不会导致梯度小和爆炸的问题。并且，ReLU函数计算速度快，加快了网络的训练。不过，如果梯度过大，导致很多负数，由于负数部分值为0，这些神经元将无法激活（可通过设置较小学习率来解决，对应PReLU中的可学习参数a）。

nn.PReLU()和nn.ReLU相关推荐

PyTorch学习笔记（1）nn.Sequential、nn.Conv2d、nn.BatchNorm2d、nn.ReLU和nn.MaxPool2d
文章目录一.nn.Sequential 二.nn.Conv2d 三.nn.BatchNorm2d 四.nn.ReLU 五.nn.MaxPool2d 一.nn.Sequential torch.nn. ...
pytorch模型容器Containers nn.ModuleDict、nn.moduleList、nn.Sequential
模型容器Containers之nn.ModuleDict.nn.moduleList.nn.Sequential nn.Sequential()对象建立nn.Sequential()对象,必须小心确 ...
DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率
DL之NN/CNN:NN算法进阶优化(本地数据集50000张训练集图片),六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率目录设计思路设计代码设计思路设计代码 import mn ...
PyTorch中的nn.Conv1d与nn.Conv2d
本文主要介绍PyTorch中的nn.Conv1d和nn.Conv2d方法,并给出相应代码示例,加深理解. 一维卷积nn.Conv1d 一般来说,一维卷积nn.Conv1d用于文本数据,只对宽度进行卷积 ...
nn.functional 和 nn.Module入门讲解
本文来自<20天吃透Pytorch> 一,nn.functional 和 nn.Module 前面我们介绍了Pytorch的张量的结构操作和数学运算中的一些常用API. 利用这些张量的AP ...
速成pytorch学习——5天nn.functional 和 nn.Module
一,nn.functional 和 nn.Module 前面我们介绍了Pytorch的张量的结构操作和数学运算中的一些常用API. 利用这些张量的API我们可以构建出神经网络相关的组件(如激活函数,模 ...
[Pytorch系列-30]：神经网络基础 - torch.nn库五大基本功能：nn.Parameter、nn.Linear、nn.functioinal、nn.Module、nn.Sequentia
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
nn.Sequential与nn.ModuleList
1.nn.Sequential 模块按照顺序进行排列的,确保输入与输出模块的通道数相同(实际上是feature map数量). nn.Sequential写法有3种: 第一种写法: 创建nn.Sequ ...
nn.Module、nn.Sequential和torch.nn.parameter学习笔记
nn.Module.nn.Sequential和torch.nn.parameter是利用pytorch构建神经网络最重要的三个函数.搞清他们的具体用法是学习pytorch的必经之路. 目录 nn.M ...
Pytorch —— nn.Module类(nn.sequential)
对于前面的线性回归模型. Logistic回归模型和神经网络,我们在构建的时候定义了需要的参数.这对于比较小的模型是可行的,但是对于大的模型,比如100 层的神经网络,这个时候再去手动定义参数就显得非 ...

最新文章

热门文章