rnn 梯度消失爆炸

2024-06-13 20:59:23

文章目录

梯度消失和爆炸原理
- 求导知识
- RNN推导

梯度消失和爆炸原理

求导知识

y=x2y = x^2y=x2

dy\mathrm{d} {y}dy 导数

dydx\Large \frac {\mathcal{d} {y}} {\mathcal{d}{x}}dxdy 偏导

RNN推导

正向传播：

at=wxxt+whht−1+bta_t=w_xx_t + w_hh_{t-1} + b_tat=wxxt+whht−1+bt

ht=σ(at)h_t = \sigma(a_t)ht=σ(at)

y^=softmax(wyht+by)\hat{y} =softmax(w_yh_t+b_y)y^=softmax(wyht+by)

定义loss：
用logloss，TODO：多分类的logloss为啥是下面的格式？为啥不是loss=∑[−ylog(y^)−(1−y)log(1−y^)]loss = \sum[-ylog(\hat{y})-(1-y)log(1-\hat{y})]loss=∑[−ylog(y^)−(1−y)log(1−y^)]

loss=L=∑i=1n−yilog(yi^)loss = \mathcal{L} = \displaystyle\sum_{i=1}^{n}-y_ilog(\hat{y_i})loss=L=i=1∑n−yilog(yi^)

dLdwt=dLdatdatdwt=dLdat\Large \frac {\mathrm{d}\mathcal{L}} {\mathrm{d}w_t} = \frac {\mathrm{d}\mathcal{L}} {\mathrm{d}a_t} \frac{\mathrm{d}a_t} {\mathrm{d}w_t}= \frac {\mathrm{d}\mathcal{L}} {\mathrm{d}a_t}dwtdL=datdLdwtdat=datdL

参考1
参考2
参考3

rnn 梯度消失爆炸相关推荐

RNN梯度消失和爆炸的原因以及 LSTM如何解决梯度消失问题
RNN梯度消失和爆炸的原因经典的RNN结构如下图所示: 假设我们的时间序列只有三段, 为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下: 假设在t=3时刻,损失函数为 . 则对于一 ...
也来谈谈RNN的梯度消失/爆炸问题
©PaperWeekly 原创 · 作者|苏剑林单位|追一科技研究方向|NLP.神经网络尽管 Transformer 类的模型已经攻占了 NLP 的多数领域,但诸如 LSTM.GRU 之类的 R ...
谈谈RNN的梯度消失/爆炸问题
尽管 Transformer 类的模型已经攻占了 NLP 的多数领域,但诸如 LSTM.GRU 之类的 RNN 模型依然在某些场景下有它的独特价值,所以 RNN 依然是值得我们好好学习的模型.而于 R ...
RNN梯度消失和爆炸
原文:链接也可以参考:解释的也很清晰建议先看第一个一,经典的RNN结构如下图所示: 假设我们的时间序列只有三段, 为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下: 假设在t=3 ...
LSTM缓解RNN梯度消失
注:此篇博客主要有参考中的资料摘选集合而成,原创内容很少,如有困惑的地方可以详细阅读参考中的资料,写的真的很好,强烈推荐阅读. LSTM缓解RNN梯度消失一.实现长期依赖 1.选择性 2.信息不变形 ...
深度学习100问之深入理解Vanishing/Exploding Gradient（梯度消失/爆炸）
这几天正在看梯度消失/爆炸,在深度学习的理论中梯度消失/爆炸也是极其重要的,所以就抽出一段时间认真地研究了一下梯度消失/爆炸的原理,以下为参考网上的几篇文章总结得出的. 本文分为四个部分:第一部分主要 ...
梯度消失/爆炸与RNN家族的介绍(LSTM GRU B-RNN Multi-RNNs)-基于cs224n的最全总结
vanishing gradients and fancy RNNs(RNN家族与梯度消失) 文章目录 vanishing gradients and fancy RNNs(RNN家族与梯度消失) 内 ...
吴恩达深度学习笔记(114)-RNN梯度消失问题详解
https://www.toutiao.com/a6652968074712449550/ 2019-02-10 14:34:53 循环神经网络的梯度消失(Vanishing gradients wi ...
Dropout、梯度消失/爆炸、Adam优化算法，神经网络优化算法看这一篇就够了
作者 | mantch 来源 | 知乎 1. 训练误差和泛化误差对于机器学习模型在训练数据集和测试数据集上的表现.如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时, ...

最新文章

热门文章