时间序列学习（3）：AR、MA及ARMA模型

1、AR模型
2、MA模型
3、ARMA模型

上篇笔记第2节说指数的对数收益率序列近似为一个白噪声。

如果投资标的的每日收益率就是白噪声，那完全可以建立多空头寸来捕捉收益率的大幅偏离。然而实际上，这种策略效果也不好。

如果采用不同的时间窗口，或者其它指数或个股，就会发现收益率序列在不同的时间间隔都有超过置信区间的自相关性。这说明每日收益率不是完全无关的。所以不能单纯地采用白噪声模型。

回顾上篇笔记的相关图，我们发现时间间隔较小的时候相关系数偏大；时间间隔越大，相关系数偏小。所以，能不能建一个模型，对近期的记忆较强，对远期的记忆弱一些。

这就是本篇笔记要介绍的自回归模型以及滑动平均模型。

1、AR模型

自回归模型 autoregressive model的定义如下：

时间序列{rt}\{r_t\}{rt}被称为一个ppp阶的自回归模型，记为AR(p)AR(p)AR(p)模型：

rt=α1rt−1+α2rt−2+...+αprt−p+wtr_t=\alpha_1r_{t-1}+\alpha_2r_{t-2}+...+\alpha_pr_{t-p}+w_trt=α1rt−1+α2rt−2+...+αprt−p+wt
=∑i=1Pαirt−i+wt=\sum^P_{i=1}\alpha_ir_{t-i}+w_t=i=1∑Pαirt−i+wt

其中，wtw_twt是一个白噪声中的随机变量。

上述模型是多元线性回归模型，只是变量和自变量都是时间序列中不同时间点的随机变量。它研究的是时间序列自身的多元线性回归关系，所以称为自回归模型。

用自回归模型建模时需要确定阶数ppp。

自回归模型不都是平稳的。当p=1,α1=1p=1,\alpha_1=1p=1,α1=1，时，这个一阶自回归模型AR(1)AR(1)AR(1)实际上就是随机游走。上篇笔记给出了随机游走不稳定的说明。

如果一个自回归模型AR(p)AR(p)AR(p)是平稳的，那么它就有下面的性质：

均值为0（或者是一个常数c）；
间隔为kkk的自协方差可用如下递归式表示（利用了协方差的可加性）：

γk=∑i=1pαiγk−i,k≥0\gamma_k=\sum^p_{i=1}\alpha_i\gamma_{k-i}, k\ge0γk=i=1∑pαiγk−i,k≥0

间隔为kkk的自相关系数可用如下递归式表示：

ρk=∑i=1pαiρk−i,k≥0\rho_k=\sum^p_{i=1}\alpha_i\rho_{k-i}, k\ge0ρk=i=1∑pαiρk−i,k≥0

2、MA模型

用自回归模型建模股价收益率，是建立在ttt时刻收益率是t−p,...,t−1t-p,...,t-1t−p,...,t−1时刻收益率的线性组合的假设上。

与AR模型不同，移动平均模型 moving average对收益率建模假设ttt时刻收益率是白噪声在不同时刻随机变量的线性组合。

如果时间序列{rt}\{r_t\}{rt}是一个qqq阶的移动平均模型（记为MA(q)MA(q)MA(q)），那么MA(q)长成下面这样：

rt=wt+β1w1+...+βqwqr_t=w_t+\beta_1w_1+...+\beta_qw_qrt=wt+β1w1+...+βqwq

其中，序列{wt}\{w_t\}{wt}是一个白噪声。

MAMAMA模型一定是平稳的。它的序列均值为0（假设序列{wt}\{w_t\}{wt}均值为0，也可以是常数）；它的间隔k的自相关系数如下：

若k=1k=1k=1，ρk=1\rho_k=1ρk=1；
若k=1,...,qk=1,...,qk=1,...,q，ρk=∑i=0q−kβiβi+k/∑i=0qβi2\rho_k=\sum^{q-k}_{i=0}\beta_i\beta_{i+k}/\sum^q_{i=0}\beta_i^2ρk=∑i=0q−kβiβi+k/∑i=0qβi2；
若k>qk\gt qk>q，ρk=0\rho_k=0ρk=0。

你也许会觉得MAMAMA模型和随机游走很像，都是白噪声的累加。为什么随机游走是不平稳，而MAMAMA模型是平稳的。

这里要注意，MAMAMA模型的白噪声线性组合中的变量个数是由阶数qqq固定的，而随机游走的的白噪声变量个数是与ttt相关的。

上面也已经说明了，随机游走其实是ARARAR模型的一个特例。

3、ARMA模型

如果用自回归模型建模股价收益率，实际上是在捕捉市场的动量或者反转效应。

如果用移动平均模型建模股价收益率，又是在捕捉由于外界扰动因子对整个平衡的打破（体现在加权系数β1,...,βq\beta_1,...,\beta_qβ1,...,βq上）。

如果想同时获得上述两类信息的建模，那么很简单地就是将AR和MA通过做简单的线性方式结合起来，也就是自回归移动平均模型（autoregressive moving average model）。

如果时间序列{rt}\{r_t\}{rt}是一个(p,q)(p,q)(p,q)阶的自回归移动平均模型（记为ARMA(p,q)ARMA(p,q)ARMA(p,q)），那么，ARMA(p,q)ARMA(p,q)ARMA(p,q)长成下面这样：

rt=α1rt−1+α2rt−2+...+αprt−p+β1w1+...+βqwq+wtr_t=\alpha_1r_{t-1}+\alpha_2r_{t-2}+...+\alpha_pr_{t-p}+\beta_1w_1+...+\beta_qw_q+w_trt=α1rt−1+α2rt−2+...+αprt−p+β1w1+...+βqwq+wt

用ARMA模型建模需要确定阶数、还有很多参数、需要检验残差项的自相关性（也就是那个wtw_twt）等等。这些在后面的笔记详细阐述。