深度学习基础理论探索(一)：激活函数、梯度消失

谈到深度学习，就会想到多层神经网络。最基本的结果便是 wx+b 再加非线性激励。

那么问题来了，为什么要加这个非线性激励，也就是激活函数呢？

1.增加非线性激励，可以使网络有更好的表达能力。可以拟合各种函数。

2.更重要的是：

多层神经网络如果没有这个激活函数就是：第一层的矩阵（权重(w)矩阵乘输入，加偏置（b）矩阵）乘第二层的矩阵。。。一直乘到最后一层矩阵。多个矩阵相乘其实就等于一个矩阵，那么多层神经网络就只相当与一层神经网络，没有意义。

过去我们常用的激活函数是sigmoid函数：

当该网络的损失函数是传统的quadratic cost function时

即：

会出现梯度消失的情况。

那么到底发生了什么？

首先我们知道，训练网络的基本方法就是反向传递，选择合适的梯度下降，一遍遍的迭代，直到损失函数小到我们可以接受的程度。

那么，下降的速度主要取决于w,b即权重和偏置相对于损失函数的偏导数。偏导越大，梯度下降越快。

Ok,我们掏出一坨公式：

这两个求偏导的公式说明，他们下降的速度只与激活函数的导数有关。

而激活函数sigmoid函数的导数是

他是个二次函数，函数的最大值为0.25.也就是说每一层的变化率最高为0.25，多层之后，比如10层之后，第十层的变化率最高为0.25的10次方。这是一个非常小的数了，w和b很难变化了，所以根本训练不出来了。这就是梯度消失。

所以过去的教科书会说神经网络不会超过三层。

为了克服这个问题，我们从两个方向入手。

1.改激活函数（现在用rule多一些）

2.改损失函数，这样就有了我们后面要说的cross-entroy。

为什么选了cross-entroy我们下一篇说。

深度学习基础理论探索(一)：激活函数、梯度消失相关推荐

深度学习 --- 优化入门三（梯度消失和激活函数ReLU）
前两篇的优化主要是针对梯度的存在的问题,如鞍点,局部最优,梯度悬崖这些问题的优化,本节将详细探讨梯度消失问题,梯度消失问题在BP的网络里详细的介绍过(兴趣有请的查看我的这篇文章),然后主要精力介绍Ru ...
深度学习（25）随机梯度下降三: 激活函数的梯度
深度学习(25)随机梯度下降三: 激活函数的梯度 1. Activation Functions 2. Deriative 3. Sigmoid/Logistic (1) Derivative (2) ...
【转载】深度学习数学基础(二)～随机梯度下降(Stochastic Gradient Descent, SGD)
Source: 作者:Evan 链接:https://www.zhihu.com/question/264189719/answer/291167114 来源:知乎著作权归作者所有.商业转载请联系作 ...
深度学习（32）随机梯度下降十: 手写数字识别问题（层）
深度学习(32)随机梯度下降十: 手写数字识别问题(层) 1. 数据集 2. 网络层 3. 网络模型 4. 网络训练本节将利用前面介绍的多层全连接网络的梯度推导结果,直接利用Python循环计算每一 ...
深度学习（27）随机梯度下降五: 单输出感知机梯度
深度学习(27)随机梯度下降五: 单输出感知机梯度 1. Perceptrnon with Sigmoid + MSE 2. Derivative 3. 代码 Recap y=XW+by=XW+by= ...
DL之AF：机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略
DL之AF:机器学习/深度学习中常用的激活函数(sigmoid.softmax等)简介.应用.计算图实现.代码实现详细攻略目录激活函数(Activation functions)相关配图各个激活 ...
深度学习中多层全连接网络的梯度下降法及其变式
深度学习中多层全连接网络的梯度下降法及其变式 1 梯度下降法 2 梯度下降的变式 1.SGD 2.Momentum 3.Adagrad 4.RMSprop 5.Adam 6.小结 1 梯度下降法梯度 ...
深度学习（33）随机梯度下降十一: TensorBoard可视化
深度学习(33)随机梯度下降十一: TensorBoard可视化 Step1. run listener Step2. build summary Step3.1 fed scalar(监听标量) S ...
深度学习（31）随机梯度下降九: Himmelblau函数优化实战
深度学习(31)随机梯度下降九: Himmelblau函数优化实战 1. Himmelblau函数 2. 函数优化实战 1. Himmelblau函数 Himmelblau函数是用来测试后话算法的常用 ...

深度学习基础理论探索(一)：激活函数、梯度消失

深度学习基础理论探索(一)：激活函数、梯度消失相关推荐

最新文章

热门文章