花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）

2024-04-26 01:02:47

目录

0. 前言

1. ReLU 整流线性单元

2. 绝对值整流线性单元

3. 渗漏整流线性单元

4. 参数化整流线性单元

5. maxout 单元

6. logistic sigmoid 单元

7. 双曲正切单元

8. 径向基函数

9. softplus 函数

10. 硬双曲正切函数

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）

花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）

花书+吴恩达深度学习（三）反向传播算法 Back Propagation

花书+吴恩达深度学习（四）多分类 softmax

0. 前言

万能近似定理（universal approximation theorem）表示，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种挤压性质的激活函数的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意精度来近似任何从一个有限维空间到另一个有限维空间的可测函数，前馈神经网络的导数也可以任意好的近似函数的导数。

假设，在神经网络中不使用非线性激活函数，输入层，隐藏层输出，输出层输出，最终的输出仍然是线性的。

在新技术的研究和开发期间，通常会测试很多不同的激活函数，并且发现许多标准方法的变体表现非常好。

1. ReLU 整流线性单元

大多数隐藏单元采用 ReLU 整流线性单元（rectified linear unit），：

如上图所示（图源：深度学习），函数仍然非常接近线性，因此它保留了许多线性模型易于使用梯度优化的属性。

ReLU 的一个缺陷是它们不能通过基于梯度的方法学习那些使激活函数为零的样本。

2. 绝对值整流线性单元

绝对值整流线性单元（absolute value rectification）表示为，：

3. 渗漏整流线性单元

渗漏整流线性单元（Leaky ReLU）表示为，：

4. 参数化整流线性单元

参数化整流线性单元（parametric ReLU，PReLU）表示为，。

将作为学习的参数。

5. maxout 单元

maxout 单元将输入划分为每组个值的几个组，然后针对每组输出组内最大的值：

换言之，输入个特征，在不损失信息的情况下，每一组的个特征用最大值概括，那么输出就能减少倍的特征。

maxout 单元可以学习具有多达段的分段线性凸函数，使用足够大的，maxout 单元可以以任意精度来近似任何凸函数。

6. logistic sigmoid 单元

sigmoid 单元在其大部分区域内都饱和，使得基于梯度的学习变得非常困难，所以不鼓励其作为隐藏单元激活函数：

7. 双曲正切单元

双曲正切函数定义为：

：

8. 径向基函数

径向基函数（radial basis function，RBF）表示为：

这个函数只有在很接近模版时才有用，大部分时候都饱和，因此很难优化。

9. softplus 函数

softplus 函数是 ReLU 的平滑版本：

10. 硬双曲正切函数

硬双曲正切函数（hard tanh）与双曲正切函数和 ReLU 类似：

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）相关推荐

花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录 0. 前言 1. 生成随机网络 GSN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DB ...
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）
文章目录 0. 前言 1. 将推断视为优化问题 1.1 期望最大化 EM 1.2 最大后验推断 MAP 1.3 稀疏编码 2. 变分推断 2.1 离散型潜变量 2.2 连续性潜变量如果这篇文章对你有 ...
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录 0. 前言 1. 对数似然梯度 1.1 朴素 MCMC 算法 1.2 对比散度算法 CD 1.3 随机最大似然 SML 2. 伪似然 3. 得分匹配 SM 4. 比率匹配 RM 5. 去噪得 ...
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
文章目录 0. 前言 1. 重要采样 2. 马尔可夫链蒙特卡罗 MCMC 3. 不同峰值之间的混合挑战如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习( ...
花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
文章目录 0. 前言 1. 欠完备自编码器 2. 去噪自编码器 DAE 3. 收缩自编码器 CAE 4. 稀疏自编码器 5. 预测稀疏分解 PSD 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞 ...
花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）
目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十 ...
花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层
目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN ...
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
文章目录 0. 前言 1. sigmoid 信念网络 2. 生成器网络 3. 变分自编码器 VAE 4. 生成式对抗网络 GAN 5. 生成矩匹配网络 6. 自回归网络 6.1 线性自回归网络 6.2 ...
花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）
文章目录 0. 前言 1. 有向模型 2. 无向模型 3. 因子图 4. 分离和d-分离 5. 从图模型中采样如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深 ...

最新文章

热门文章