1 RNN的统计学基础

1.1 回归：

Investpedia:
Regression refers to the relation between selected values of x and observed values of y (from which the most probable value of y can be predicted for any value of x). The general form of each type of regression is:

Simple linear regression: Y=a+bX+uY = a + bX + uY=a+bX+u
Multiple linear regression: Y=a+b1X1+b2X2+b3X3+...+btXt+uY = a + b_1X_1 + b_2X_2 + b_3X_3 + ... + b_tX_t + uY=a+b1X1+b2X2+b3X3+...+btXt+u
Where:
YYY = the variable that you are trying to predict (dependent variable，因变量).
XXX = the variable that you are using to predict Y (independent variable，自变量).
aaa = the intercept（截距）.
bbb = the slope（斜率）.
uuu = the regression residual（回归残差）.

1.2 自回归（Auto-Regression, AR模型）

自回归，即AR模型，属于时间序列分析的范畴，即用一个变量yty_tyt的历史信息来预测自己，tutorialspoint给出的定义：

For a stationary time series, an auto regression models sees the value of a variable at time ‘t’ as a linear function of values ‘p’ time steps preceding it. Mathematically it can be written as：
yt=C+ϕ1yt−1+ϕ2yt−2+...+ϕpyt−p+ϵty_t=C+ϕ_1y_{t−1}+ϕ_2y_{t−2}+...+ϕ_py_{t−p}+ϵ_tyt=C+ϕ1yt−1+ϕ2yt−2+...+ϕpyt−p+ϵt
Where,‘p’ is the auto-regressive trend parameter
ϵtϵ_tϵt is white noise, and yt−1,yt−2...yt−py_{t−1},y_{t−2}...y_{t−p}yt−1,yt−2...yt−p denote the value of variable at previous time periods.

1.3 有外部输入的非线性自回归模型(Nonlinear AutoRegressive with Exogenous Inputs Model，NARX)

NARX是自回归模型的扩展，在每个时刻ttt都有一个外部输入xtx_txt，产生一个输出yty_tyt，NARX通过一个延时器记录最近KxK_xKx次的外部输入和最近KyK_yKy次的输出，第ttt个时刻的输出yty_tyt为:
yt=f(xt,xt−1,...,xt−Kx,yt−1,yt−2,...,yt−Ky)y_t=f(x_t,x_{t-1},...,x_{t-K_x},y_{t-1},y_{t-2},...,y_{t-K_y})yt=f(xt,xt−1,...,xt−Kx,yt−1,yt−2,...,yt−Ky)
其中f()f()f()表示非线性函数，可以是一个前馈网络，KxK_xKx 和KyK_yKy为超参数。

2 简单循环神经网络

2.1 循环神经网络的通用近似定理

如果一个完全连接的循环神经网络有足够数量的 sigmoid 型隐藏神经元，它可以以任意的准确率去近似任何一个非线性动力系统：

st=g(st−1,xt)s_t = g(s_{t-1}, x_{t})st=g(st−1,xt)
yt=o(st)y_t = o(s_t)yt=o(st)

2.2 学习模式

2.3 参数学习

2.4 梯度爆炸、梯度消失与长程依赖问题

2.5 门控机制、LSTM及其变体

2.6 深层循环神经网络

2.6.1 堆叠循环神经网络

图按时间展开的堆叠循环神经网络

2.6.2 双向循环神经网络

在有些任务中，一个时刻的输出不但和过去时刻的信息有关，也和后续时刻
的信息有关．比如给定一个句子，其中一个词的词性由它的上下文决定，即包含左右两边的信息．因此，在这些任务中，我们可以增加一个按照时间的逆序来传递信息的网络层，来增强网络的能力．
双向循环神经网络（Bidirectional Recurrent Neural Network，Bi-RNN）由
两层循环神经网络组成，它们的输入相同，只是信息传递的方向不同．
图按时间展开的双向循环神经网络

回归、自回归、循环神经网络（RNN）、LSTM相关推荐

深度学习～循环神经网络RNN, LSTM
目录 1. 循环神经网络RNN 1.1 RNN出现背景 1.2 RNN概念 2. LSTM 2.1 LSTM出现背景 2.2 LSTM结构参考 1. 循环神经网络RNN 1.1 RNN出现背景 pr ...
深度学习笔记——循环神经网络RNN/LSTM
原文来自知乎专栏NLP进阶之路,作者韦伟. 以下文章是摘录了原文部分内容的学习笔记,侵删. 循环神经网络(Rerrent Neural Network) RNN是神经网络的一种,RNN对具有序列特性的 ...
RNN循环神经网络、LSTM长短期记忆网络实现时间序列长期利率预测
全文链接:http://tecdat.cn/?p=25133 2017 年年中,R 推出了 Keras 包 _,_这是一个在 Tensorflow 之上运行的综合库,具有 CPU 和 GPU 功能(点 ...
循环神经网络(RNN、LSTM、GRU)
循环神经网络(RNN.LSTM.GRU) 目录循环神经网络(RNN.LSTM.GRU) 概述: 计算: LSTM(长短记忆模型): GRU:
YJango的循环神经网络——实现LSTM YJango的循环神经网络——实现LSTM YJango YJango 7 个月前介绍描述最常用的RNN实现方式：Long-Short Term Me
YJango的循环神经网络--实现LSTM YJango 7 个月前介绍描述最常用的RNN实现方式:Long-Short Term Memory(LSTM) 梯度消失和梯度爆炸网络回忆:在< ...
[Python人工智能] 十二.循环神经网络RNN和LSTM原理详解及TensorFlow编写RNN分类案例
从本专栏开始,作者正式开始研究Python深度学习.神经网络及人工智能相关知识.前一篇讲解了TensorFlow如何保存变量和神经网络参数,通过Saver保存神经网络,再通过Restore调用训练好的 ...
通过keras例子理解LSTM 循环神经网络(RNN)
博文的翻译和实践: Understanding Stateful LSTM Recurrent Neural Networks in Python with Keras 正文一个强大而流行的循环神经 ...
循环神经网络(RNN)之长短期记忆(LSTM)
长短期记忆(Long Short Term Memory)跟上篇的循环神经网络(RNN)之门控循环单元(GRU),两者比较的话,LSTM稍微更复杂一点,但很类似,对整个隐藏单元来讲可以说增加了一个记忆 ...
CS224N笔记(四) Lecture 7：循环神经网络RNN的进阶——LSTM与GRU
本文将介绍两种比RNN更好地应对梯度消失问题的模型结构--LSTM和GRU,文章以CS224N的课件和材料为基础,重点分析他们的结构特点和梯度计算,在梯度消失的解决策略上进行了深入探究,并进一步分析它 ...
循环神经网络RNN、LSTM、GRU实现股票预测
Tensorflow--循环神经网络RNN 循环核 TensorFlow描述循环核循环神经网络 TensorFlow描述循环神经网络循环计算过程输入一个字母,预测下一个字母输入四个连续字母,预 ...

回归、自回归、循环神经网络（RNN）、LSTM