如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN

花书+吴恩达深度学习（十六）序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN

花书+吴恩达深度学习（十七）序列模型之长短期记忆 LSTM 和门控循环单元 GRU

0. 前言

标准的 RNN 每次的输出，都与附近的几次输入、隐藏单元激活函数值相关。

而与很久之前的输入关联性较差，会遗忘较早的信息，缺乏长期依赖。

本篇介绍为解决这个问题而修改的 RNN 模型。

长短期记忆 LSTM（Long Short-Term Memory）
门控循环单元 GRU（Gated Recurrent Unit）

1. 长短期记忆 LSTM

LSTM （Long Short-Term Memory）使得自循环的权重视上下文而定，而不是固定的。

参数用来表示记忆单元（memory cell）。

LSTM 定义如下：

其中，更新门表示当前有多少是需要更新的，遗忘门表示过去有多少是需要被记住的，输出门表示输出的权重。

LSTM 比简单的循环架构更易于学习长期依赖。

2. 门控循环单元 GRU

GRU（Gated Recurrent Unit）和 LSTM 的主要区别是 GRU 通过单个门控同时控制更新操作和遗忘操作。

GRU 定义如下：

其中，更新门同时控制更新操作和遗忘操作，复位门控制当前状态中哪些部分用于下一个状态计算，在过去状态和未来状态之间引入了附加的非线性效应。

简单版本的 GRU 可以通过去掉复位门实现。

GRU 的优点是模型比 LSTM 简单，可以训练更大的网络，只有两个门控，可以更快的训练。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十七）序列模型之长短期记忆 LSTM 和门控循环单元 GRU相关推荐

花书+吴恩达深度学习（十六）序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN
目录 0. 前言 1. 双向循环网络 BRNN(Bidirectional RNN) 2. 深度循环网络 Deep RNN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花 ...
花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN
目录 0. 前言 1. RNN 计算图 2. RNN 前向传播 3. RNN 反向传播 4. 导师驱动过程(teacher forcing) 5. 不同序列长度的 RNN 如果这篇文章对你有一点小小的 ...
花书+吴恩达深度学习（二九）生成随机网络 GSN
文章目录 0. 前言 1. 生成随机网络 GSN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习(二七)深度生成模型之玻尔兹曼机及其变体(RBM, DB ...
花书+吴恩达深度学习（二八）深度生成模型之有向生成网络（VAE, GAN, 自回归网络）
文章目录 0. 前言 1. sigmoid 信念网络 2. 生成器网络 3. 变分自编码器 VAE 4. 生成式对抗网络 GAN 5. 生成矩匹配网络 6. 自回归网络 6.1 线性自回归网络 6.2 ...
花书+吴恩达深度学习（二六）近似推断（EM, 变分推断）
文章目录 0. 前言 1. 将推断视为优化问题 1.1 期望最大化 EM 1.2 最大后验推断 MAP 1.3 稀疏编码 2. 变分推断 2.1 离散型潜变量 2.2 连续性潜变量如果这篇文章对你有 ...
花书+吴恩达深度学习（二五）直面配分函数（CD, SML, SM, RM, NCE）
文章目录 0. 前言 1. 对数似然梯度 1.1 朴素 MCMC 算法 1.2 对比散度算法 CD 1.3 随机最大似然 SML 2. 伪似然 3. 得分匹配 SM 4. 比率匹配 RM 5. 去噪得 ...
花书+吴恩达深度学习（二四）蒙特卡罗方法（重要采样，MCMC）
文章目录 0. 前言 1. 重要采样 2. 马尔可夫链蒙特卡罗 MCMC 3. 不同峰值之间的混合挑战如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深度学习( ...
花书+吴恩达深度学习（二三）结构化概率模型（贝叶斯网络、马尔可夫随机场）
文章目录 0. 前言 1. 有向模型 2. 无向模型 3. 因子图 4. 分离和d-分离 5. 从图模型中采样如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 花书+吴恩达深 ...
花书+吴恩达深度学习（二二）自编码器（欠完备，DAE，CAE，PSD）
文章目录 0. 前言 1. 欠完备自编码器 2. 去噪自编码器 DAE 3. 收缩自编码器 CAE 4. 稀疏自编码器 5. 预测稀疏分解 PSD 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞 ...

花书+吴恩达深度学习（十七）序列模型之长短期记忆 LSTM 和门控循环单元 GRU

目录

0. 前言

1. 长短期记忆 LSTM

2. 门控循环单元 GRU

花书+吴恩达深度学习（十七）序列模型之长短期记忆 LSTM 和门控循环单元 GRU相关推荐

最新文章

热门文章