RNN梯度消失和爆炸的原因

经典的RNN结构如下图所示：

假设我们的时间序列只有三段，为给定值，神经元没有激活函数，则RNN最简单的前向传播过程如下：

假设在t=3时刻，损失函数为。

则对于一次训练任务的损失函数为，即每一时刻损失值的累加。

使用随机梯度下降法训练RNN其实就是对、、以及求偏导，并不断调整它们以使L尽可能达到最小的过程。

现在假设我们我们的时间序列只有三段，t1，t2，t3。

我们只对t3时刻的求偏导（其他时刻类似）：

可以看出对于求偏导并没有长期依赖，但是对于求偏导，会随着时间序列产生长期依赖。因为随着时间序列向前传播，而又是的函数。

根据上述求偏导的过程，我们可以得出任意时刻对求偏导的公式：

任意时刻对求偏导的公式同上。

如果加上激活函数，，

则 =

激活函数tanh和它的导数图像如下。

由上图可以看出，对于训练过程大部分情况下tanh的导数是小于1的，因为很少情况下会出现，如果也是一个大于0小于1的值，则当t很大时，就会趋近于0，和趋近与0是一个道理。同理当很大时就会趋近于无穷，这就是RNN中梯度消失和爆炸的原因。

至于怎么避免这种现象，让我在看看梯度消失和爆炸的根本原因就是这一坨，要消除这种情况就需要把这一坨在求偏导的过程中去掉，至于怎么去掉，一种办法就是使另一种办法就是使。其实这就是LSTM做的事情。

LSTM如何解决梯度消失问题

先上一张LSTM的经典图：

至于这张图的详细介绍请参考：Understanding LSTM Networks

下面假设你已经阅读过Understanding LSTM Networks这篇文章了，并且了解了LSTM的组成结构。

RNN梯度消失和爆炸的原因这篇文章中提到的RNN结构可以抽象成下面这幅图：

而LSTM可以抽象成这样：

三个×分别代表的就是forget gate，input gate，output gate，而我认为LSTM最关键的就是forget gate这个部件。这三个gate是如何控制流入流出的呢，其实就是通过下面三个函数来控制，因为（代表sigmoid函数）的值是介于0到1之间的，刚好用趋近于0时表示流入不能通过gate，趋近于1时表示流入可以通过gate。

当前的状态类似与传统RNN 。将LSTM的状态表达式展开后得：

如果加上激活函数，

RNN梯度消失和爆炸的原因这篇文章中传统RNN求偏导的过程包含

对于LSTM同样也包含这样的一项，但是在LSTM中

假设，则的函数图像如下图所示：

可以看到该函数值基本上不是0就是1。

传统RNN的求偏导过程：

如果在LSTM中上式可能就会变成：

因为，这样就解决了传统RNN中梯度消失的问题。

来源：

https://zhuanlan.zhihu.com/p/28749444

https://zhuanlan.zhihu.com/p/28687529

来自为知笔记(Wiz)

转载于:https://www.cnblogs.com/jins-note/p/10853788.html