Relu函数与Leaky Relu函数

ReLu函数

修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。

综上可知，ReLu激活函数的优点是：

1，相比Sigmoid/tanh函数，使用梯度下降（GD）法时，收敛速度更快

2，相比Sigmoid/tanh函数，Relu只需要一个门限值，即可以得到激活值，计算速度更快

缺点是：

Relu的输入值为负的时候，输出始终为0，其一阶导数也始终为0，这样会导致神经元不能更新参数，也就是神经元不学习了，这种现象叫做“Dead Neuron”。

为了解决Relu函数这个缺点，在Relu函数的负半区间引入一个泄露（Leaky）值，所以称为Leaky Relu函数，如下图所示：

带泄露修正线性单元（Leaky ReLU）函数是经典（以及广泛使用的）的ReLu激活函数的变体，该函数输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习（虽然会很慢），解决了Relu函数进入负区间后，导致神经元不学习的问题。

Andrew Ng说：

1，Leaky ReLU函数比ReLU函数效果好，但实际中Leaky ReLU并没有ReLU用的多。

2，除了输出层是一个二元分类问题外，基本不用Sigmoid函数

3，Relu是最常用的默认激活函数，若不确定用哪个激活函数，就使用Relu或者Leaky Relu

Reference:

https://www.jianshu.com/p/7c57e42e88e8

Relu函数与Leaky Relu函数相关推荐

激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解
相关文章梯度下降算法.随机梯度下降算法.动量随机梯度下降算法.AdaGrad算法.RMSProp算法.Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数.Sigmo ...
Relu函数与Leaky Relu函数的理解
转自简书 https://www.jianshu.com/p/7c57e42e88e8 修正线性单元(Rectified linear unit,ReLU)是神经网络中最常用的激活函数.它保留了 st ...
Relu函数，sigmoid函数，leaky Relu
Relu函数: y=max(0,x) 蓝色为Relu函数,红色曲线为Relu函数的导数. 优点: 1.在正区间内不会发生梯度消失问题, 2. 函数比较简单,求导计算复杂度较低. 3. 梯度能维持在不错 ...
激活函数--Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等
激活函数目前自己使用比较多的激活函数RELU, RELU6; LeakyReLU; SELU; Mish :激活函数看:计算量:准确率: 大多数激活函数pytorch里有已经包装好了: Non-li ...
整流线性单元(Relu)及其变种(Leaky Relu、PRelu、ELU、SELU、CRelu、RRelu)
Relu (rectified linear unit)整流线性单元------可以有效防止梯度爆炸,将所有负值归零 Relu(x)神经元的输出是max(x, 0).提⾼ReLU 的带权输⼊并不会导致 ...
【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
文章目录一.Tanh 二.Sigmoid 三.ReLU 四.Leaky ReLU 五.ELU 六.SiLU 七.Mish 本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点最简单的激活函数被 ...
激活函数（sigmoid、tanh、ReLU、leaky ReLU）
为了保证神经元的计算包含简洁性和功能性,神经元的计算包括线性计算和非线性计算. 今天主要讲集中非线性计算(即激活函数),包括: sigmoid tanh ReLU leaky ReLU 1.sigmo ...
常用激活函数：Sigmoid、Tanh、Relu、Leaky Relu、ELU优缺点总结
1.激活函数的作用什么是激活函数? 在神经网络中,输入经过权值加权计算并求和之后,需要经过一个函数的作用,这个函数就是激活函数(Activation Function). 激活函数的作用? 首先我们 ...
[Pytorch 常用函数] 激活函数Relu, Leaky Relu
修正线性单元(Rectified linear unit,ReLU)是神经网络中最常用的激活函数.它保留了 step 函数的生物学启发(只有输入超出阈值时神经元才激活),不过当输入为正的时候,导数不为 ...

Relu函数与Leaky Relu函数

Relu函数与Leaky Relu函数相关推荐

最新文章

热门文章