Pytorch激活函数之Relu家族：ReLU、LeakyReLU等

2024-04-20 01:52:33

昨天在听师弟师妹分享图卷积神经网络一篇paper的时候，看到一个激活函数LeakyReLU，因此萌生了学习一下的想法。

1、为什么需要非线性激活函数？

首先这个问题其实可以拆分成个问题：①为啥需要激活函数？②为啥还是非线性的激活函数？

对于第一个问题来说，在神经网络中，我们增加了激活函数就是想增加模型的学习能力，让表达的能力增强而不只是简单的线性组合。

对于第二个问题来说，因为如果是线性的激活函数，比如y=kx(k≠0)，那么经过三层激活以后其实学到的东西很有限，可能仅仅堆叠多个线性层。

总而言之，我们在神经网络中需要非线性的激活函数就是想让每一层学习到的信息足够多，让模型的表达能力增强。

2、非线性激活函数都有哪些？

Sigmoid
Tanh
Sigmoid
ReLU
LeakyReLU
........

3、ReLu和LeakyReLU的优缺点

①ReLU

优点：解决了梯度消失的问题；计算成本低，函数比较简单。

缺点：会产生Dead Neurons，因此当x<0的时候梯度就变为0，这些神经元就变得无效，这些神经元在后面的训练过程就不会更新

②LeakyReLU

n

优点：是ReLU函数的一个变体，解决了ReLU函数存在的问题，α的默认往往是非常小的，比如0.01，这样就保证了Dead Neurons的问题

缺点：由于它具有线性特性，不能用于复杂的分类问题。

以上截图来自https://ml-cheatsheet.readthedocs.io/en/latest/activation_functions.html#leakyrelu

总结：每个激活函数都有其优缺点，虽然LeakyReLU改正了ReLU激活函数存在的问题，但是ReLU激活函数依然是现在非常主流的激活函数。还有两种其它的ReLU变体：①α的值是在某个区间随机的；②α的值是变得。

Pytorch激活函数之Relu家族：ReLU、LeakyReLU等相关推荐

PyTorch | 激活函数（Sigmoid、Tanh、ReLU和Leaky ReLU）
PyTorch | 激活函数(Sigmoid.Tanh.ReLU) 1. 简介 2. 函数饱和性 3. 以零为中心 3.1 收敛速度 3.2 参数更新 3.3 更新方向 3.4 以零为中心的影响 4. ...
PyTorch学习笔记：nn.ReLU——ReLU激活函数
PyTorch学习笔记:nn.ReLU--ReLU激活函数 torch.nn.ReLU(inplace=False) 功能:逐元素应用ReLU函数对数据进行激活函数方程: R e L U ( x ) ...
[Pytorch 常用函数] 激活函数Relu, Leaky Relu
修正线性单元(Rectified linear unit,ReLU)是神经网络中最常用的激活函数.它保留了 step 函数的生物学启发(只有输入超出阈值时神经元才激活),不过当输入为正的时候,导数不为 ...
【深度学习】激活函数：原理+常见激活函数（Sigmoid\Tanh\ReLU\Leaky ReLU\Softmax）
首先需要知道为什么要引入激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达能力不够.引入非线性激活函数,可使深层神经网络的表达能力更加强大. 在深度学习中,线性模型只需要简单的全连接层就能实 ...
常用的激活函数汇总-Sigmoid, tanh, relu, elu
激活函数(又叫激励函数,后面就全部统称为激活函数)是模型整个结构中的非线性扭曲力,神经网络的每层都会有一个激活函数.那他到底是什么,有什么作用?都有哪些常见的激活函数呢? 深度学习的基本原理就是基于人 ...
sigmoid函数解决溢出_常见激活函数优缺点与dead relu problem
转载自: G-kdom:温故知新--激活函数及其各自的优缺点zhuanlan.zhihu.com 1.什么是激活函数? 所谓激活函数(Activation Function),就是在人工神经网络的神 ...
【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
文章目录一.Tanh 二.Sigmoid 三.ReLU 四.Leaky ReLU 五.ELU 六.SiLU 七.Mish 本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点最简单的激活函数被 ...
小白学GAN系列2——nn.ReLU与nn.LeakyReLU的区别
nn.ReLU与nn.LeakyReLU的区别因为之前从未接触过这方面,直接接手GAN,有点吃力,如有明显漏洞,请指正,我会感激不尽. 昨晚查阅了ReLU的含义,结果今天发现高老师给的代码中又有一个 ...
激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点. 激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性.常见的激活函数有sigmoid,tanh,ReLU等 1.sigmoid Sigmoid 非线性 ...
激活函数详解（ReLU/Leaky ReLU/ELU/SELU/Swish/Maxout/Sigmoid/tanh）
神经网络中使用激活函数来加入非线性因素,提高模型的表达能力. ReLU(Rectified Linear Unit,修正线性单元) 形式如下: ReLU公式近似推导:: 下面解释上述公式中的softp ...

最新文章

热门文章