本节将介绍循环神经⽹络。它并⾮刚性地记忆所有固定⻓度的序列，而是通过隐藏状态来储存之前时间步的信息。⾸先我们回忆⼀下前⾯介绍过的多层感知机，然后描述如何添加隐藏状态来将它变成循环神经⽹络。

一、不含隐藏状态的神经网络

先考虑一个单层的多层感知机：

复习一遍隐藏层的输出、输出层的输出。
隐藏层的输出：
H=ϕ(XWxh+bh)H=\phi (XW_{xh}+b_h)H=ϕ(XWxh+bh)

其中，WxhW_{xh}Wxh表示输入层xxx和隐藏层hhh之间的权重参数，bhb_hbh为隐藏层h的偏差参数。
输出层的输出：
O=HWhq+bqO=HW_{hq} + b_qO=HWhq+bq

其中qqq表示输出个数（例如分类问题的类别数）

可以看到，隐藏层HHH的输出只由输入xxx得到。

二、含隐藏状态的循环神经网络

首先说明：隐藏状态是一个变量——隐藏变量的别称。

前面章节说到，语言模型的一段文本，可以看做一段时间序列。这段文本中的每个词为wtw_twt，其中ttt称为时间步。（相当于在原有的最基本的神经网络基础上增加了一个维度——时间维度）。下面我们就考虑这种数据存在时间相关性的情况。

假设Xt∈Rn×dX_t \in R^{n × d}Xt∈Rn×d是序列中时间步ttt的小批量输入，Ht∈Rn×hH_t \in R^{n × h}Ht∈Rn×h是该时间步的隐藏层变量（ttt表示时间步。nnn表示小批量样本数。ddd表示输入个数，及特征个数）。由于加入了时间的维度，所以每个时间步都会有一个HHH：H1,H2,H3,...,Ht−1,Ht,Ht+1...,HTH_1,H_2,H_3,...,H_{t-1},H_t,H_{t+1}...,H_TH1,H2,H3,...,Ht−1,Ht,Ht+1...,HT。

循环神经网络的做法与多层感知机的不同之处在于：隐藏层HtH_tHt的输出由当前时间步的输入XtX_tXt和上一时间步的隐藏层变量Ht−1H_{t-1}Ht−1得到。具体公式如下：
Ht=ϕ(XtWxh+Ht−1Whh+bh)H_t=\phi (X_tW_{xh} + H_{t-1}W_{hh}+b_h)Ht=ϕ(XtWxh+Ht−1Whh+bh)

与多层感知机的不同，除了输入输出增加了代表当前时间步的下标ttt之外，还增加了一项Ht−1WhhH_{t-1}W_{hh}Ht−1Whh。（通俗地理解，就是：文本可以看成我们平时说的话。而我们平时说话都是有逻辑的，每个字前前后后都是相关联的，反映到这个公式上，就是隐藏变量在不同时间步上的相关性。）

该公式的图示如下：

三、其他说明

上述隐藏变量的计算公式表明：当前的隐藏变量捕捉了截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样
所有的时间步都使用相同的模型参数
XtWxh+Ht−1WhhX_tW_{xh} + H_{t-1}W_{hh}XtWxh+Ht−1Whh等价于XtX_tXt与Ht−tH_{t-t}Ht−t连接后（concat）的矩阵乘以WxhW_{xh}Wxh与WhhW_{hh}Whh连接后的矩阵

循环神经网络：循环神经网络相关推荐

循环神经网络递归神经网络_如何用递归神经网络预测空气污染
循环神经网络递归神经网络 After the citizen science project of Curieuze Neuzen, I wanted to learn more about air ...
循环神经网络递归神经网络_了解递归神经网络中的注意力
循环神经网络递归神经网络 I recently started a new newsletter focus on AI education. TheSequence is a no-BS( mea ...
Tensorflow神经网络框架小例子三层神经网络卷积神经网络循环神经网络神经网络可视化
Tensorflow神经网络框架以前我们讲了神经网络基础,但是如果从头开始实现,那将是一个庞大且费时的工作,所以我们选择一条捷径---神经网络框架.我理解的神经网络框架就相当于一个工具包.就比如我们 ...
图深度学习——卷积神经网络循环神经网络自编码器
卷积神经网络常用做图像分类任务.举例:识别图中的兔子前馈神经网络做兔子图像识别图像可以通过矩阵表示,然后将矩阵转换成向量,就可以作为前馈神经网络的输入,但是 1.参数量就非常大,需要大量数据进行 ...
循环神经网络 - 卷积神经网络
循环神经网络 - 卷积神经网络传统的机器学习算法非常依赖于人工提取的特征,使得基于传统机器学习的图像识别.语音识别以及自然语言处理等问题存在特征提取的瓶颈. 基于全连接神经网络的方法存在参数太多.无 ...
循环神经网络递归神经网络_CNTK-递归神经网络
循环神经网络递归神经网络 CNTK-递归神经网络 (CNTK - Recurrent Neural Network) Now, let us understand how to construct ...
Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性...
全文链接:http://tecdat.cn/?p=26562 该项目包括: 自 2000 年 1 月以来的股票价格数据.我们使用的是 Microsoft 股票. 将时间序列数据转换为分类问题. 使用 ...
深度学习入门（五十六）循环神经网络——循环神经网络RNN
深度学习入门(五十六)循环神经网络--循环神经网络RNN 前言循环神经网络--循环神经网络RNN 课件潜变量自回归模型循环神经网络使用循环神经网络的语言模型困惑度(perplexity) 梯 ...
神经网络深度神经网络,深度神经网络训练
有哪些深度神经网络模型? 目前经常使用的深度神经网络模型主要有卷积神经网络(CNN) .递归神经网络(RNN).深信度网络(DBN) .深度自动编码器(AutoEncoder) 和生成对抗网络(GAN ...
bp神经网络和神经网络,bp神经网络是什么网络
神经网络BP模型一.BP模型概述误差逆传播(Error Back-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型. Pall Werbas博士于1974年 ...

循环神经网络：循环神经网络

一、不含隐藏状态的神经网络

二、含隐藏状态的循环神经网络

三、其他说明

循环神经网络：循环神经网络相关推荐

最新文章

热门文章