收藏 | 循环神经网络 RNN 详细图解！

点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：作者：zhenguo

转自：Python与算法社区

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

神经网络是深度学习的载体，而神经网络模型中，最经典非RNN模型所属，尽管它不完美，但它具有学习历史信息的能力。后面不管是encode-decode 框架，还是注意力模型，以及自注意力模型，以及更加强大的Bert模型家族，都是站在RNN的肩上，不断演化、变强的。

这篇文章，阐述了RNN的方方面面，包括模型结构，优缺点，RNN模型的几种应用，RNN常使用的激活函数，RNN的缺陷，以及GRU，LSTM是如何试图解决这些问题，RNN变体等。

这篇文章最大特点是图解版本，其次语言简练，总结全面。

概述

传统RNN的体系结构。Recurrent neural networks，也称为RNNs，是一类允许先前的输出用作输入，同时具有隐藏状态的神经网络。它们通常如下所示：

对于每一时步 , 激活函数，输出被表达为:

这里是时间维度网络的共享权重系数

是激活函数

下表总结了典型RNN架构的优缺点：

优点	缺点
处理任意长度的输入	计算速度慢
模型形状不随输入长度增加	难以获取很久以前的信息
计算考虑了历史信息	无法考虑当前状态的任何未来输入
权重随时间共享

RNNs应用

RNN模型主要应用于自然语言处理和语音识别领域。下表总结了不同的应用：

RNN 类型	图解	例子
1对1		传统神经网络
1对多		音乐生成
多对1		情感分类
多对多		命名实体识别
多对多		机器翻译

损失函数

对于RNN网络，所有时间步的损失函数是根据每个时间步的损失定义的，如下所示：

时间反向传播

在每个时间点进行反向传播。在时间步，损失相对于权重矩阵的偏导数表示如下：

处理长短依赖

常用激活函数

RNN模块中最常用的激活函数描述如下：

Sigmoid	Tanh	RELU

梯度消失/爆炸

在RNN中经常遇到梯度消失和爆炸现象。之所以会发生这种情况，是因为很难捕捉到长期的依赖关系，因为乘法梯度可以随着层的数量呈指数递减/递增。

梯度修剪

梯度修剪是一种技术，用于执行反向传播时，有时遇到的梯度爆炸问题。通过限制梯度的最大值，这种现象在实践中得以控制。

门的类型

为了解决消失梯度问题，在某些类型的RNN中使用特定的门，并且通常有明确的目的。它们通常标注为，等于：

其中，，，是特定于门的系数，是sigmoid函数。主要内容总结如下表：

门的种类	作用	应用
更新门	过去对现在有多重要？	GRU, LSTM
关联门	丢弃过去信息?	GRU, LSTM
遗忘门	是不是擦除一个单元?	LSTM
输出门	暴露一个门的多少?	LSTM

GRU/LSTM

Gated Recurrent Unit（GRU）和长-短期记忆单元（LSTM）处理传统RNNs遇到的消失梯度问题，LSTM是GRU的推广。下表总结了每种结构的特征方程：

注：符号表示两个向量之间按元素相乘。

RNN的变体

下表总结了其他常用的RNN模型：

Bidirectional (BRNN)	Deep (DRNN)

参考文献：

https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看