【机器学习】激活函数（Activation Function）

https://blog.csdn.net/ChenVast/article/details/81382795

激活函数是模型整个结构中的非线性扭曲力

神经网络的每层都会有一个激活函数

1、逻辑函数（Sigmoid）：

使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元。

其自身的缺陷，最明显的就是饱和性。从函数图可以看到，其两侧导数逐渐趋近于0，杀死梯度。

函数图像：

2、正切函数（Tanh）：

非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。

相对于sigmoid的好处是他的输出的均值为0，克服了第二点缺点。但是当饱和的时候还是会杀死梯度。

函数图：

3、线性整流函数（Rectified Linear Unit，ReLU）：

最近几年比较受欢迎的一个激活函数

无饱和区，收敛快、计算简单、有时候会比较脆弱，如果变量的更新太快，还没有找到最佳值，就进入小于零的分段就会使得梯度变为0，无法更新直接死掉了。

函数图：

4、ELU函数（Exponential Linear Unit）：

融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性。

右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。

因为函数指数项所以计算难度会增加

函数图：

5、Softplus函数：

函数图：

6、恒同映射（Identity）：

7、Maxout：

他是ReLU和LReLU的一般化公式（如ReLU就是将w1和b1取为0）。所以他用于ReUL的优点而且没有死区，但是它的参数数量却增加了一倍。

maxout网络能够近似任意连续函数，且当w2,b2,…,wn,bn为0时，退化为ReLU。Maxout能够缓解梯度消失，同时又规避了ReLU神经元死亡的缺点，但增加了参数和计算量。

8、其他几种激活函数的比较如图：

神经网络之所以为非线性模型的关键，关键在于激活函数。

【机器学习】激活函数（Activation Function）相关推荐

激活函数 activation function
文章目录激活函数 activation function Sigmoid Sigmoid 反向传播 Tanh ReLU Dead ReLU Problem 产生的原因激活函数 activation ...
[TensorFlow 学习笔记-06]激活函数(Activation Function)
[版权说明] TensorFlow 学习笔记参考: 李嘉璇著 TensorFlow技术解析与实战黄文坚唐源著 TensorFlow实战郑泽宇顾思宇著 TensorFlow实战Googl ...
Pytorch——激活函数(Activation Function)
文章目录 1.非线性方程 2.激活函数 3.常用选择 4.代码 1.非线性方程我们为什么要使用激励函数? 用简单的语句来概括. 就是因为, 现实并没有我们想象的那么美好, 它是残酷多变的. 哈哈, ...
常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码
激活函数是确定神经网络输出的数学方程式. 激活函数的作用:给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数. 1.附加到网络中的每个神经元,并根据每个神经元的输入来确定是否应激活. 2 ...
【机器学习】神经网络-激活函数-面面观(Activation Function)
神经网络之激活函数(Activation Function) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 更多相关博客请猛戳:http://blog.c ...
激活函数（activation function）
激活函数activation function 激活函数的介绍阶跃函数(Step Function)--- 最简单的二分类非线性激活函数开始 mish激活函数激活函数的介绍首先看一个普通的神经网 ...
通俗理解神经网络之激励函数(Activation Function)
本文整理自博客.知乎上关于激励函数的博客和回答.部分图片引用自知乎,如有侵权,请联系作者. 关于神经网络激励函数的作用,常听到的解释是:不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加 ...
Homepage Machine Learning Algorithm 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用首先,激活函数不是真的要去激 ...
激活函数（Activation Function）及十大常见激活函数
目录 1 激活函数的概念和作用 1.1 激活函数的概念 1.2 激活函数的作用 1.3 通俗地理解一下激活函数(图文结合) 1.3.1 无激活函数的神经网络 1.3.2 带激活函数的神经网络 2 神经 ...
深度学习中常见的10种激活函数（Activation Function）总结
目录一:简介二:为什么要用激活函数三:激活函数的分类四:常见的几种激活函数 4.1.Sigmoid函数 4.2.Tanh函数 4.3.ReLU函数 4.4.Leaky Relu函数 4.5.P ...

【机器学习】激活函数（Activation Function）

1、逻辑函数（Sigmoid）：

函数图像：

2、正切函数（Tanh）：

函数图：

3、线性整流函数（Rectified Linear Unit，ReLU）：

函数图：

4、ELU函数（Exponential Linear Unit）：

函数图：

5、Softplus函数：

函数图：

6、恒同映射（Identity）：

7、Maxout：

8、其他几种激活函数的比较如图：

【机器学习】激活函数（Activation Function）相关推荐

最新文章

热门文章