激活函数- relu vs sigmoid

数据流经过sigmoid后，会发生明显的衰减。

假设前面对w做一个比较大的变化 $\Delta w$ ，经过sigmoid之后会变成一个很小的变化。这个变化一直向后衰减传递，一直到 $\Delta l$ 。此时会发现前面层的 $\partial l/\partial w$ 明显小于后面的 $\partial l/\partial w$ 。

如果用梯度下降法，后面的参数一定比前面的参数迭代的更快，所以收敛的更快。造成了后面参数几乎训练完毕，前面的参数依然接近随机数的糟糕训练结果。

所以ML界寻找替代 sigmoid的激活函数，如relu。

relu函数在大于0的部分梯度为常数，relu函数在小于0时的导数为0 ，所以一旦神经元激活值进入负半区，那么梯度就会为0，也就是说这个神经元不会经历训练。只有神经元激活值进入正半区，才会有梯度值，此时神经元才会对此进行一次（加强）训练。

relu函数的性质像极了生物学里面神经元的激活。

小结一下relu作为激活函数的特点：

1）计算速度快；

2）模拟了生物学神经系统的激活特性

3）一系列relu配合不同的bias叠加后可以组合成sigmoid；

4）解决了梯度消失的问题

激活函数- relu vs sigmoid相关推荐

激活函数 ReLU、sigmoid、tanh（双曲正切）
个人主页
机器学习入门（12）— 激活函数层 ReLU、Sigmoid 层的实现
1. ReLU 函数层激活函数 ReLU(Rectified Linear Unit)由下式(5.7)表示. 通过式(5.7),可以求出 y 关于 x 的导数,如式(5.8)所示. 在式(5.8)中 ...
ML/DL之激活函数/求导函数：ML中常用的AF激活函数(step_function、sigmoid、softmax、ReLU等)求导函数等代码实现之详细攻略
ML/DL之激活函数/求导函数:ML中常用的AF激活函数(step_function.sigmoid.softmax.ReLU等)&求导函数等代码实现之详细攻略目录 AF函数&求导函 ...
花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）
目录 0. 前言 1. ReLU 整流线性单元 2. 绝对值整流线性单元 3. 渗漏整流线性单元 4. 参数化整流线性单元 5. maxout 单元 6. logistic sigmoid 单元 7. ...
激活函数（Relu，sigmoid，Tanh，softmax）详解
目录 1 激活函数的定义 2 激活函数在深度学习中的作用 3 选取合适的激活函数对于神经网络有什么样的重要意义 4 常用激活函数 4.1 Relu 激活函数 4.2 sigmoid 激活函数 4.3 ...
深度学习激活函数总结（sigmoid，tanh，ReLU，Leaky ReLU，EReLU，PReLU，Softmax，Swish，Maxout，Softplus）
摘要本文总结了深度学习领域最常见的10中激活函数(sigmoid.Tanh.ReLU.Leaky ReLU.ELU.PReLU.Softmax.Swith.Maxout.Softplus)及其优缺点 ...
神经网络激活函数汇总（Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout）
神经网络激活函数汇总(Sigmoid.tanh.ReLU.LeakyReLU.pReLU.ELU.maxout) 常规 sigmoid 和 tanh sigmoid 特点:可以解释,比如将0-1之间的 ...
17,18_常见函数梯度，激活函数梯度（Sigmoid、Tanh、ReLu）
1. 常见函数梯度 1.1 常见函数 2. 激活函数及其梯度 2.1 激活函数 Derivative (倒数) Sigmoid / Logistic
卷积神经网络(卷积层，激活函数Relu,池化层，计算公式及API解释)
1. 卷积神经网络 (卷积层,激活函数,池化层,全连接层) (1) 把神经网络的隐藏层分为卷积层和池化层(又叫下采样层) · 卷积层 : 通过在原始图像上平移来提取特征 · 池化层 : 通过特征 ...
结合反向传播算法使用python实现神经网络的ReLU、Sigmoid、Affine、Softmax-with-Loss层
结合反向传播算法使用python实现神经网络的ReLU.Sigmoid激活函数层这里写目录标题一.ReLU层的实现二.Sigmoid层的实现三.实现神经网络的Affine层四.Softmax ...

激活函数- relu vs sigmoid

激活函数- relu vs sigmoid相关推荐

最新文章

热门文章