RNN梯度消失和爆炸的原因
一个经典的RNN结构如下图所示:
假设我们的时间序列只有三段, S0S_0S0为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下:S1=WxX1+WsS0+b1O1=WoS1+b2S_{1}=W_{x} X_{1}+W_{s} S_{0}+b_{1} O_{1}=W_{o} S_{1}+b_{2}S1=WxX1+WsS0+b1O1=WoS1+b2S2=WxX2+WsS1+b1O2=WoS2+b2S_{2}=W_{x} X_{2}+W_{s} S_{1}+b_{1} O_{2}=W_{o} S_{2}+b_{2}S2=WxX2+WsS1+b1O2=WoS2+b2S3=WxX3+WsS2+b1O3=WoS3+b2S_{3}=W_{x} X_{3}+W_{s} S_{2}+b_{1} O_{3}=W_{o} S_{3}+b_{2}S3=WxX3+WsS2+b1O3=WoS3+b2 假设在t=3时刻,损失函数为L3=12(Y3−O3)2L_{3}=\frac{1}{2}\left(Y_{3}-O_{3}\right)^{2}L3=21(Y3−O3)2。则对于一次训练任务的损失函数为L=∑t=0TLtL=\sum_{t=0}^{T} L_{t}L=t=0∑TLt即每一时刻损失值的累加。使用随机梯度下降法训练RNN其实就是对WxW_xWx、WsW_sWs、WoW_oWo 以及b1b_1b1、b2b_2b2求偏导,并不断调整它们以使LLL尽可能达到最小的过程。现在假设我们我们的时间序列只有三段,t1t_1t1,t2t_2t2,t3t_3t3。我们只对t3t_3t3时刻的WxW_xWx、WsW_sWs、WoW_oWo 求偏导(其他时刻类似):∂L3∂W0=∂L3∂O3∂O3∂Wo\frac{\partial L_{3}}{\partial W_{0}}=\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial W_{o}}∂W0∂L3=∂O3∂L3∂Wo∂O3∂L3∂Wx=∂L3∂O3∂O3∂S3∂S3∂Wx+∂L3∂O3∂O3∂S3∂S3∂S2∂S2∂Wx+∂L3∂O3∂O3∂S3∂S3∂S2∂S2∂S1∂S1∂Wx\frac{\partial L_{3}}{\partial W_{x}}=\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial S_{3}} \frac{\partial S_{3}}{\partial W_{x}}+\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial S_{3}} \frac{\partial S_{3}}{\partial S_{2}} \frac{\partial S_{2}}{\partial W_{x}}+\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial S_{3}} \frac{\partial S_{3}}{\partial S_{2}} \frac{\partial S_{2}}{\partial S_{1}} \frac{\partial S_{1}}{\partial W_{x}}∂Wx∂L3=∂O3∂L3∂S3∂O3∂Wx∂S3+∂O3∂L3∂S3∂O3∂S2∂S3∂Wx∂S2+∂O3∂L3∂S3∂O3∂S2∂S3∂S1∂S2∂Wx∂S1∂L3∂Ws=∂L3∂O3∂O3∂S3∂S3∂Ws+∂L3∂O3∂O3∂S3∂S3∂S2∂S2∂Ws+∂L3∂O3∂O3∂S3∂S3∂S2∂S2∂S1∂S1∂Ws\frac{\partial L_{3}}{\partial W_{s}}=\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial S_{3}} \frac{\partial S_{3}}{\partial W_{s}}+\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial S_{3}} \frac{\partial S_{3}}{\partial S_{2}} \frac{\partial S_{2}}{\partial W_{s}}+\frac{\partial L_{3}}{\partial O_{3}} \frac{\partial O_{3}}{\partial S_{3}} \frac{\partial S_{3}}{\partial S_{2}} \frac{\partial S_{2}}{\partial S_{1}} \frac{\partial S_{1}}{\partial W_{s}}∂Ws∂L3=∂O3∂L3∂S3∂O3∂Ws∂S3+∂O3∂L3∂S3∂O3∂S2∂S3∂Ws∂S2+∂O3∂L3∂S3∂O3∂S2∂S3∂S1∂S2∂Ws∂S1
可以看出对于 WoW_oWo 求偏导并没有长期依赖,但是对于WxW_xWx、WsW_sWs求偏导,会随着时间序列产生长期依赖。因为 StS_tSt 随着时间序列向前传播,而StS_tSt又是 WxW_xWx、WsW_sWs的函数。
根据上述求偏导的过程,我们可以得出任意时刻对 WxW_xWx、WsW_sWs求偏导的公式:∂Lt∂Wx=∑k=0t∂Lt∂Ot∂Ot∂St(∏j=k+1t∂Sj∂Sj−1)∂Sk∂Wx\frac{\partial L_{t}}{\partial W_{x}}=\sum_{k=0}^{t} \frac{\partial L_{t}}{\partial O_{t}} \frac{\partial O_{t}}{\partial S_{t}}\left(\prod_{j=k+1}^{t} \frac{\partial S_{j}}{\partial S_{j-1}}\right) \frac{\partial S_{k}}{\partial W_{x}}∂Wx∂Lt=k=0∑t∂Ot∂Lt∂St∂Ot⎝⎛j=k+1∏t∂Sj−1∂Sj⎠⎞∂Wx∂Sk任意时刻对WsW_sWs 求偏导的公式同上。
如果再加上激活函数:Sj=tanh(WxXj+WsSj−1+b1)S_{j}=\tanh \left(W_{x} X_{j}+W_{s} S_{j-1}+b_{1}\right)Sj=tanh(WxXj+WsSj−1+b1)。其中tanh′=[0,1]\tanh ^{\prime}=[0,1]tanh′=[0,1]f(z)=tanh(z)f(z)=\tanh (z)f(z)=tanh(z)f(z)′=1−(f(z))2f(z)^{\prime}=1-(f(z))^{2}f(z)′=1−(f(z))2激活函数tanh和它的导数图像如下:
由上图可以看出tanh′≤1\tanh ^{\prime} \leq 1tanh′≤1,对于训练过程大部分情况下tanh的导数是小于1的,因为很少情况下会出现WxXj+WsSj−1+b1=0W_{x} X_{j}+W_{s} S_{j-1}+b_{1}=0WxXj+WsSj−1+b1=0,如果WsW_sWs也是一个大于0小于1的值,则当ttt很大时∏j=k+1ttanh′Ws\prod_{j=k+1}^{t} \tanh ^{\prime} W_{s}j=k+1∏ttanh′Ws会趋于0,和0.01500.01^{50}0.0150趋近于0是一个概念,同理当WsW_sWs很大时,∏j=k+1ttanh′Ws\prod_{j=k+1}^{t} \tanh ^{\prime} W_{s}∏j=k+1ttanh′Ws会趋于无穷。这就是RNN中梯度消失和爆炸的原因。
至于怎么避免这种现象,让我在看看就是∂Lt∂Wx=∑k=0t∂Lt∂Ot∂Ot∂St(∏j=k+1t∂Sj∂Sj−1)∂Sk∂Wx\frac{\partial L_{t}}{\partial W_{x}}=\sum_{k=0}^{t} \frac{\partial L_{t}}{\partial O_{t}} \frac{\partial O_{t}}{\partial S_{t}}\left(\prod_{j=k+1}^{t} \frac{\partial S_{j}}{\partial S_{j-1}}\right) \frac{\partial S_{k}}{\partial W_{x}}∂Wx∂Lt=k=0∑t∂Ot∂Lt∂St∂Ot⎝⎛j=k+1∏t∂Sj−1∂Sj⎠⎞∂Wx∂Sk梯度消失和爆炸的根本原因就是∏j=k+1t∂Sj∂Sj−1\prod_{j=k+1}^{t} \frac{\partial S_{j}}{\partial S_{j-1}}j=k+1∏t∂Sj−1∂Sj这一坨,要消除这种情况就需要把这一坨在求偏导的过程中去掉,至于怎么去掉,一种办法就是使 ∂Sj∂Sj−1≈1或者∂Sj∂Sj−1≈0\frac{\partial S_{j}}{\partial S_{j-1}} \approx 1或者\frac{\partial S_{j}}{\partial S_{j-1}} \approx 0∂Sj−1∂Sj≈1或者∂Sj−1∂Sj≈0其实这就是LSTM做的事情。
总结:
梯度消失:一句话,RNN梯度消失是因为激活函数tanh函数的倒数在0到1之间,反向传播时更新前面时刻的参数时,当参数W初始化为小于1的数,则多个(tanh函数’ * W)相乘,将导致求得的偏导极小(小于1的数连乘),从而导致梯度消失。
梯度爆炸:当参数初始化为足够大,使得tanh函数的导数乘以W大于1,则将导致偏导极大(大于1的数连乘),从而导致梯度爆炸。
RNN梯度消失和爆炸的原因相关推荐
- RNN梯度消失和爆炸的原因 以及 LSTM如何解决梯度消失问题
RNN梯度消失和爆炸的原因 经典的RNN结构如下图所示: 假设我们的时间序列只有三段, 为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下: 假设在t=3时刻,损失函数为 . 则对于一 ...
- ztree在刷新时第一个父节点消失_从反向传播推导到梯度消失and爆炸的原因及解决方案(从DNN到RNN,内附详细反向传播公式推导)...
引言:参加了一家公司的面试和另一家公司的笔试,都问到了这个题!看来很有必要好好准备一下,自己动手推了公式,果然理解更深入了!持续准备面试中... 一. 概述: 想要真正了解梯度爆炸和消失问题,必须手推 ...
- RNN梯度消失和爆炸
原文:链接 也可以参考:解释的也很清晰 建议先看第一个 一,经典的RNN结构如下图所示: 假设我们的时间序列只有三段, 为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下: 假设在t=3 ...
- 梯度消失和梯度爆炸_梯度消失、爆炸的原因及解决办法
一.引入:梯度更新规则 目前优化神经网络的方法都是基于反向传播的思想,即根据损失函数计算的误差通过梯度反向传播的方式,更新优化深度网络的权值.这样做是有一定原因的,首先,深层网络由许多非线性层堆叠而来 ...
- LSTM如何解决梯度消失或爆炸的?
from:https://zhuanlan.zhihu.com/p/44163528 哪些问题? 梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新,也就停止了学习. 梯度爆炸会使得学习不稳定 ...
- rnn 梯度消失爆炸
文章目录 梯度消失和爆炸原理 求导知识 RNN推导 梯度消失和爆炸原理 求导知识 y=x2y = x^2y=x2 dy\mathrm{d} {y}dy 导数 dydx\Large \frac {\ma ...
- 反向传播算法推导、激活函数、梯度消失与爆炸
目录 反向传播算法 定义 推导过程 激活函数 定义 性质 常用的激活函数 Sigmoid Tanh ReLU softmax 梯度消失与梯度爆炸 起因 出现的原因 表现 解决方案 参考文档 反向传播算 ...
- 深度神经网络中的梯度消失与爆炸
在反向传播过程中需要对激活函数进行求导,如果导数大于1,那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸.同样如果导数小于1,那么随着网络层数的增加梯度更新信息会朝着指数衰减的方 ...
- LSTM缓解RNN梯度消失
注:此篇博客主要有参考中的资料摘选集合而成,原创内容很少,如有困惑的地方可以详细阅读参考中的资料,写的真的很好,强烈推荐阅读. LSTM缓解RNN梯度消失 一.实现长期依赖 1.选择性 2.信息不变形 ...
- PyTorch系列入门到精通——梯度消失与爆炸,损失函数
PyTorch系列入门到精通--梯度消失与爆炸
最新文章
- CPU/GPU/TPU/NPU...XPU都是什么意思?
- 数据结构--KMP算法总结
- SQL Server 性能调优3 之索引(Index)的维护
- 白话经典算法系列之一 冒泡排序的三种实现
- centos7下载elasticsearch7版本(超详细)
- 解决 mysql 树形结构插入数据查询死循环问题
- Altium Designer元件库下载
- WPF实现DoEvents
- 小程序体验版无法显示内容
- Linux/Shell中根据一列信息批量提取文件中匹配的特定行
- 西安交大计算机2000年山西专业录取分数,西安交大在山西各专业录取分数.doc
- 人生,就是一个个未竟之志叠起来的
- RS-485集线器设计原理
- 裸金属服务器性能描述,金山云-文档中心-集群支持裸金属服务器
- Abaqus RVE单元 周期性边界施加(PBC) 前处理(一) 单元重新编号及Equation方程建立
- java群发邮件_JAVA邮件群发 - Java-Android-jwebee - BlogJava
- 测试人生 | 疫情之下工资翻了2倍多,这4个月学习比工作8年学到的还多
- 某电子计算机有400个终端,(第四章)大数定率与中心极限定理习题.doc
- Kaggle Lending Club Loan Data数据可视化分析与不良贷款预测
- 一维前缀和与二维前缀和