一、时间序列与平稳序列

1.时间序列的概念

时间序列，就是按照时间次序排列的随机变量列，其最重要的特征就是具有时间关系，即处于不同时间的随机变量可能具有一定的联系。生活中有许多时间序列，如每个月的平均气温、股市每天的收盘价等等，都是时间序列。

任何时间序列，经过合理的变换后都可以看作由三个部分叠加而成：趋势项，周期项和随机噪声项。趋势项大体刻画了时间序列的变化趋势，是一个固定的、可以预测的项；周期项是具有一定周期的时间序列，比如一年四季每个季节有各自的特征，就可以用周期项来刻画；随机噪声则是随机干扰，一般被视为独立的零均值序列。

以上关系概括说来，就是
Xt=Tt+St+Rt.X_t=T_t+S_t+R_t. Xt=Tt+St+Rt.
在实际生活中，时间不能倒流，所以时间序列往往只能够发生一次，即获得一次观测。X1,X2,⋯X_1,X_2,\cdotsX1,X2,⋯的一组实际数值x1,x2,⋯x_1,x_2,\cdotsx1,x2,⋯是时间序列的一次实现或一条轨道。

在获得观测值后，要对时间序列进行以上的分解，才能够获得具有实际意义的分布。有一些常用的分解方式，如分段趋势分解，回归直线法，二次曲线回归法，逐步平均法等等。

随机过程中将时间指标分成连续集与离散集两种，即ttt的取值可以是连续的R,R+\R,\R_+R,R+或离散的Z,Z+\Z,\Z_+Z,Z+，我们将重点放在离散时间序列上。

2.重要的时间序列——平稳序列

时间序列的趋势项和季节项往往可以用非随机的函数进行刻画，剩下的随机噪声项，往往会具有某种平稳波动性，即在某条直线上下跳跃。平稳序列是用来描述某一种具有平稳波动性序列的序列，其定义如下。

如果时间序列{Xt}\{X_t\}{Xt}满足：

∀t∈N,EXt2<∞\forall t\in \N,{\rm E}X_t^2<\infty∀t∈N,EXt2<∞，即二阶矩存在；

∀∈N,EXt=μ\forall \in\N,{\rm E}X_t=\mu∀∈N,EXt=μ，即均值一致；

∀t,s∈N,E[(Xt−μ)(Xs−μ)]=γt−s\forall t,s\in\N,{\rm E}[(X_t-\mu)(X_s-\mu)]=\gamma_{t-s}∀t,s∈N,E[(Xt−μ)(Xs−μ)]=γt−s，即自协方差只与时间差有关。

就称{Xt}\{X_t\}{Xt}是平稳时间序列，称{γt}\{\gamma_t\}{γt}为{Xt}\{X_t\}{Xt}的自协方差函数。

从平稳序列的定义可以看出，它的平稳表现在两个方面，一是均值、方差的平稳性，即均值、方差与时间无关；二是相关性的平稳性，即序列中的任意两个随机变量自协方差函数，只与时间差有关，而与它们的绝对位置无关。

需要注意，自协方差函数是包含分布的方差的，因为DXt=γ0{\rm D}X_t=\gamma_0DXt=γ0。这也说明了方差与时间无关，因为对任何XtX_tXt，其方差都是γ0\gamma_0γ0，是一个常数。如果γ0=0\gamma_0=0γ0=0，那么随机变量就是一个常数，没有讨论的必要，因此我们总假定γ0>0\gamma_0>0γ0>0。

从平稳序列的定义来看，它最重要的元素无疑是自协方差函数，这刻画了序列内部的关系。首先，很显然对于任何实时间序列，其自协方差序列都是实数列，除此外自协方差函数有以下三条重要性质：

1、对称性，即γk=γ−k\gamma_k=\gamma_{-k}γk=γ−k对所有k∈Zk\in\Zk∈Z成立。

2、非负定性，即对任何n∈Nn\in\Nn∈N，nnn阶自协方差矩阵
Γn=[γ0γ1⋯γn−1γ1γ0⋯γn−2⋮⋮⋮γn−1γn−2⋯γ0]\Gamma_n=\begin{bmatrix} \gamma_0&\gamma_1&\cdots&\gamma_{n-1}\\ \gamma_1&\gamma_0&\cdots&\gamma_{n-2}\\ \vdots&\vdots&&\vdots\\ \gamma_{n-1}&\gamma_{n-2}&\cdots&\gamma_0 \end{bmatrix} Γn=⎣⎢⎢⎢⎡γ0γ1⋮γn−1γ1γ0⋮γn−2⋯⋯⋯γn−1γn−2⋮γ0⎦⎥⎥⎥⎤
总是非负定的。

3、有界性，即对任何k∈Zk\in\Zk∈Z，有∣γk∣≤γ0|\gamma_k|\le \gamma_0∣γk∣≤γ0。

同时满足以上三条性质的实数列称为非负定序列，平稳序列的自协方差函数就是非负定序列，并且可以证明，每个非负定序列都可以是一个平稳序列的自协方差函数。这里建立了非负定序列与平稳序列的对应性。

接下来对平稳序列的这三条性质进行证明。对称性最显然，由定义就可以直接看出，即
γk=Cov(Xt,Xt+k)=Cov(Xt+k,Xt+k−k)=γ−k.\gamma_k={\rm Cov}(X_{t},X_{t+k})={\rm Cov}(X_{t+k},X_{t+k-k})=\gamma_{-k}. γk=Cov(Xt,Xt+k)=Cov(Xt+k,Xt+k−k)=γ−k.
非负定性，即自协方差矩阵是非负定矩阵，对于任何一个二次型要证明其非负，就任取一个常数向量，计算
an′Γnan=∑j=1n∑k=1najakγj−k=∑j=1n∑k=1nakajCov(Xk,Xj)=D(∑j=1najXj)≥0.\begin{aligned} \boldsymbol a'_n\Gamma_n\boldsymbol a_n=&\sum_{j=1}^n\sum_{k=1}^na_ja_k\gamma_{j-k}\\ =&\sum_{j=1}^n\sum_{k=1}^na_ka_j{\rm Cov}(X_k,X_{j})\\ =&{\rm D}(\sum_{j=1}^n a_jX_j)\ge0. \end{aligned} an′Γnan===j=1∑nk=1∑najakγj−kj=1∑nk=1∑nakajCov(Xk,Xj)D(j=1∑najXj)≥0.
这个证明过程中，需要牢记的是二次型的写法，即将二次型写成一个双重求和的结果，每一项是bjbkb_jb_kbjbk与二次型矩阵的第(j,k)(j,k)(j,k)项乘积；并且将双重求和转化成一个单次求和的函数，这个思想也很重要。

有界性，用到柯西不等式，将随机变量中心化，即Yt=Xt−μY_t=X_t-\muYt=Xt−μ，那么DYt=DXt=γ0{\rm D}Y_t={\rm D}X_t=\gamma_0DYt=DXt=γ0，Cov(Xt,Xt+k)=Cov(Yt,Yt+k)=γk{\rm Cov}(X_t,X_{t+k})={\rm Cov}(Y_t,Y_{t+k})=\gamma_kCov(Xt,Xt+k)=Cov(Yt,Yt+k)=γk，就有∣γk∣=∣E(YtYt+k)∣≤EYt2EYt+k2=γ0|\gamma_k|=|{\rm E}(Y_tY_{t+k})|\le \sqrt{{\rm E}Y_t^2{\rm E}Y_{t+k}^2}=\gamma_0∣γk∣=∣E(YtYt+k)∣≤EYt2EYt+k2=γ0，这里小于等于号就是柯西不等式的结果。

由有界性可以知道−1≤γk/γ0≤1-1\le \gamma_k/\gamma_0\le 1−1≤γk/γ0≤1，与相关系数有很大的相似之处，所以我们将γk/γ0\gamma_k/\gamma_0γk/γ0定义为平稳序列的自相关系数，也就是自协方差函数的归一化。在某些情况下，自相关函数甚至比自协方差函数还要重要。

我们再将目光投射到三条性质中，最不平凡的那条，即非负定性上。既然我们知道∀an\forall \boldsymbol a_n∀an，有an′Γnan≥0\boldsymbol a_n'\Gamma_n\boldsymbol a_n\ge 0an′Γnan≥0，那么作为临界情况的等号成立时意味着什么呢？显然等号很难对于所有an\boldsymbol a_nan都成立（除非Γn=O\Gamma_n=OΓn=O，但这是没有意义的），所以我们讨论对某个特定的an\boldsymbol a_nan等号成立的情况。由于
an′Γnan=D(∑j=1najXj),\boldsymbol a_n'\Gamma_n\boldsymbol a_n={\rm D}(\sum_{j=1}^n a_jX_j), an′Γnan=D(j=1∑najXj),
我们不妨定义X=(X1,⋯,Xn)′\boldsymbol X=(X_1,\cdots,X_n)'X=(X1,⋯,Xn)′，那么an′Γnan=D(a′X)=0\boldsymbol a_n'\Gamma_n\boldsymbol a_n={\rm D}(\boldsymbol a'\boldsymbol X)=0an′Γnan=D(a′X)=0，也就说明a′X\boldsymbol a'\boldsymbol Xa′X是常数，结合其均值来看应该有a′X=μa′1n\boldsymbol a'X=\mu\boldsymbol a'\boldsymbol 1_na′X=μa′1n（1n\boldsymbol 1_n1n指全是1的列向量）。由于我们规定an≠0\boldsymbol a_n\ne0an=0，那么一定存在一个下标最大的分量ak≠0a_k\ne 0ak=0，使得XkX_kXk可以被X1,⋯,Xk−1X_1,\cdots,X_{k-1}X1,⋯,Xk−1线性表示。这时，我们称X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn是线性相关的。

并且进一步看，由于自协方差函数与序列位置无关，即
an′Γnan=∑j=1n∑k=1najakCov(Xt+j,Xt+k)=D(∑j=1najXt+j)=0,\boldsymbol a_n'\Gamma_n\boldsymbol a_n=\sum_{j=1}^n\sum_{k=1}^na_ja_k{\rm Cov}(X_{t+j},X_{t+k})={\rm D}(\sum_{j=1}^n a_jX_{t+j})=0, an′Γnan=j=1∑nk=1∑najakCov(Xt+j,Xt+k)=D(j=1∑najXt+j)=0,
所以对任何一组的连续的(Xt+1,⋯,Xt+n)(X_{t+1},\cdots,X_{t+n})(Xt+1,⋯,Xt+n)，都有Xt+kX_{t+k}Xt+k可以被Xt+1,⋯,Xt+k−1X_{t+1},\cdots,X_{t+k-1}Xt+1,⋯,Xt+k−1线性表示，并且表示系数是相同的。这一性质，表明对于退化的Γn\Gamma_nΓn，任何Xt,t≥nX_{t},t\ge nXt,t≥n都可以被X0,⋯,Xn−1X_0,\cdots,X_{n-1}X0,⋯,Xn−1线性表示，这进一步说明了对于任意的nnn个XtX_tXt，它们一定是线性相关的，不管是不是连续增长的时间指标ttt。

事实上，用多元统计的观点看，设X=(Xt+1,Xt+2,⋯,Xt+n)\boldsymbol X=(X_{t+1},X_{t+2},\cdots,X_{t+n})X=(Xt+1,Xt+2,⋯,Xt+n)，那么Γn=D(X)\Gamma_n={\rm D}(\boldsymbol X)Γn=D(X)，即随机向量的协方差矩阵，那么自然有
E(AX+B)=AX+B,D(AX+B)=AD(X)A′=AΓnA′.{\rm E}(A\boldsymbol X+B)=A\boldsymbol X+B,\quad {\rm D}(A\boldsymbol X+B)=A{\rm D}(\boldsymbol X)A'=A\Gamma_nA'. E(AX+B)=AX+B,D(AX+B)=AD(X)A′=AΓnA′.
当A=an′,B=cA=\boldsymbol a'_n,B=cA=an′,B=c的时候，显然有D(an′X+c)=an′Γnan≥0D(\boldsymbol a_n'\boldsymbol X+c)=\boldsymbol a_n'\Gamma_n\boldsymbol a_n\ge 0D(an′X+c)=an′Γnan≥0。

需要注意的是，平稳序列并不一定是平稳但散乱的，也可以具有很强的周期性，其典型例子就是调和平稳序列Xt=bcos⁡(at+U),U∼U(−π,π)X_t=b\cos(at+U),U\sim U(-\pi,\pi)Xt=bcos(at+U),U∼U(−π,π)，它的自协方差函数是12b2cos⁡((t−s)a)\frac 12b^2\cos ((t-s)a)21b2cos((t−s)a)，具有很强的周期性，所以观测样本也会具有周期性。

3.特殊的平稳序列——白噪声

白噪声是一种最为简单，但也颇具地位的平稳序列，其定义如下。

设{εt}\{\varepsilon_t\}{εt}是一个平稳序列，如果对任何s,t∈Ns,t\in\Ns,t∈N，都有
Eεt=μ,Dεt=σ2,Cov(εt,εs)=0,t≠s.{\rm E}\varepsilon_t=\mu,\quad {\rm D}\varepsilon_t=\sigma^2,\\ \quad {\rm Cov}(\varepsilon_t,\varepsilon_s)=0,\quad t\ne s. Eεt=μ,Dεt=σ2,Cov(εt,εs)=0,t=s.
就称{εt}\{\varepsilon_t\}{εt}是一个白噪声，记作WN(μ,σ2){\rm WN}(\mu,\sigma^2)WN(μ,σ2)。

关于其方差和协方差的另一种写法是
Cov(εt,εs)={σ2,t=s0,t≠s=σ2δt−s.{\rm Cov}(\varepsilon_t,\varepsilon_s)=\left\{ \begin{array}l \sigma^2,&t=s\\ 0,&t\ne s \end{array}=\sigma^2\delta_{t-s}. \right. Cov(εt,εs)={σ2,0,t=st=s=σ2δt−s.
这里δk\delta_kδk是克罗内克(Kronecker)函数，当k=0k=0k=0时δk=1\delta_k=1δk=1，否则δk=0\delta_k=0δk=0。

白噪声又可以细分为以下几类：

当{εt}\{\varepsilon_t\}{εt}是独立序列时，称为独立白噪声（定义只保证了不相关）；
当μ=0\mu=0μ=0时，称为零均值白噪声；
当μ=0,σ2=1\mu=0,\sigma^2=1μ=0,σ2=1时，称为标准白噪声；
当{εt}\{\varepsilon_t\}{εt}服从正态分布且是独立序列时，称为正态白噪声。

4.多平稳序列的相互关系

多平稳序列的相互关系，指的是对于两个平稳序列{Xt}\{X_t\}{Xt}和{Yt}\{Y_t\}{Yt}，它们之间具有的相互性质。具体可以细分为正交平稳序列和不相关平稳序列，其定义如下：

正交的：如果∀s,t∈Z\forall s,t\in\Z∀s,t∈Z，都有E(XtYs)=0{\rm E}(X_tY_s)=0E(XtYs)=0，就称{Xt},{Yt}\{X_t\},\{Y_t\}{Xt},{Yt}是正交的。

不相关的：如果∀s,t∈Z\forall s,t\in\Z∀s,t∈Z，都有E(XtYs)=EXtEYs{\rm E}(X_tY_s)={\rm E}X_t{\rm E}Y_sE(XtYs)=EXtEYs，就称{Xt},{Ys}\{X_t\},\{Y_s\}{Xt},{Ys}是不相关的。

这两个定义很好从字面意义上理解。正交是垂直的推广，在线性代数中两个向量a,ba,ba,b正交被定义为其内积⟨a,b⟩=0\langle a,b\rangle=0⟨a,b⟩=0，在平稳序列中，就是乘积的期望为0；不相关就是二者不对对方产生影响，所以乘起来求期望与分开求期望相乘得到的结果理应是一样的。如果EXtEYs=0{\rm E}X_t{\rm E}Y_s=0EXtEYs=0，那么正交序列和不相关序列本身等价，也就是说，对于零均值平稳序列，其正交性和不相关性是等价的。

为什么要讨论这两种特殊的关系呢？我们以后可能会对平稳序列进行求和，即Zt=Xt+YtZ_t=X_t+Y_tZt=Xt+Yt，如果{Zt}\{Z_t\}{Zt}本身也能够是平稳序列那再好不过了。幸运的是，{Xt},{Yt}\{X_t\},\{Y_t\}{Xt},{Yt}是正交、不相关序列时，都能让{Zt}\{Z_t\}{Zt}是平稳序列。

要证明{Zt}\{Z_t\}{Zt}是平稳序列，就要证明其二阶矩有限、期望平稳、自协方差函数仅与时间差有关。期望平稳是显然的，有μZ=μX+μY\mu_Z=\mu_X+\mu_YμZ=μX+μY；二阶矩有限也是显然的，有
EZt2=E(Xt+Yt)2≤2EXt2+2EYt2<∞.{\rm E}Z_t^2={\rm E}(X_t+Y_t)^2\le 2{\rm E}X_t^2+2{\rm E}Y_t^2<\infty. EZt2=E(Xt+Yt)2≤2EXt2+2EYt2<∞.
接下来对正交、不相关序列，分别求{Zt}\{Z_t\}{Zt}的自协方差函数。首先是正交的情况，有
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+γY(t−s)+E(XsYt)−EXsEYt+E(XtYs)−EXtEYs=γX(t−s)+γY(t−s)−2μXμY;\begin{aligned} {\rm Cov}(Z_{t},Z_s)=&{\rm Cov}(X_t,X_s)+{\rm Cov}(X_t,Y_s)+{\rm Cov}(Y_t,X_s)+{\rm Cov}(Y_t,Y_s)\\ =&\gamma_X(t-s)+\gamma_Y(t-s)+{\rm E}(X_sY_t)-{\rm E}X_s{\rm E}Y_t+{\rm E}(X_tY_s)-{\rm E}X_t{\rm E}Y_s\\ =&\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y; \end{aligned} Cov(Zt,Zs)===Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)γX(t−s)+γY(t−s)+E(XsYt)−EXsEYt+E(XtYs)−EXtEYsγX(t−s)+γY(t−s)−2μXμY;
然后是不相关的情况，立马得到Cov(Zt,Zs)=γX(t−s)+γY(t−s){\rm Cov}(Z_t,Z_s)=\gamma_X(t-s)+\gamma_Y(t-s)Cov(Zt,Zs)=γX(t−s)+γY(t−s)。这两个数都是t−st-st−s的函数，这就证明了对正交、不相关平稳序列，其和仍然是平稳序列。

加和的自协方差函数不方便记忆，可以记以下的简化结论：对于零均值的正交平稳序列{Xt},{Yt}\{X_t\},\{Y_t\}{Xt},{Yt}，他们的和{Zt},Zt=Xt+Yt\{Z_t\},Z_t=X_t+Y_t{Zt},Zt=Xt+Yt仍是平稳序列，且μZ=μX+μY,γZ(k)=γX(k)+γY(k)\mu_Z=\mu_X+\mu_Y,\gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)μZ=μX+μY,γZ(k)=γX(k)+γY(k)。

回顾总结

任何时间序列经过适当的变换，都可以拆解为趋势项、季节项、随机噪声，并且趋势项和季节项一般被认为是非随机函数。
平稳序列是二阶矩存在、期望一致、自协方差只与时间差有关的时间序列，满足这三个条件就是平稳序列，这一般被用来验证序列的平稳性。
平稳序列中最重要的是自协方差函数{γk}\{\gamma_k\}{γk}，这是一个实数列，满足对称性、非负定性、有界性三个性质。
满足对称性、非负定性、有界性的实数列被称为非负定序列，一个非负定序列一定是某个平稳序列的自协方差函数。但非负定性的验证比较麻烦，所以验证一个序列是非负定序列一般是证明它是某个平稳序列的自协方差函数。
如果Γn\Gamma_nΓn退化，则X1,⋯,XnX_1,\cdots,X_nX1,⋯,Xn线性相关，并且可以证明任何下标不小于nnn的项XtX_tXt都可以用X1X_1X1到Xn−1X_{n-1}Xn−1这n−1n-1n−1项线性表示。
平稳序列是特殊的时间序列，白噪声WN(μ,σ2){\rm WN}(\mu,\sigma^2)WN(μ,σ2)是特殊的平稳序列，它的主要特征是序列不相关性，也就是序列之间任意两个不同的随机变量无关，一样需要满足均值、方差的一致性。
白噪声中，又有独立白噪声、零均值白噪声、标准白噪声、正态白噪声几类特殊白噪声。
平稳序列正交指E(XtYs)=0{\rm E}(X_tY_s)=0E(XtYs)=0，不相关指E(XtYs)=EXtEYs{\rm E}(X_tY_s)={\rm E}X_t{\rm E}Y_sE(XtYs)=EXtEYs，对零均值平稳序列这两个定义是等价的。
平稳的正交、不相关序列加和仍然是平稳序列，且对于零均值的情况，自协方差函数为两个分开的自协方差函数之和。

【时间序列分析】01.时间序列与平稳序列相关推荐

时间序列、时间序列分析、时间序列效应分解、平稳时间序列、AIC和BIC
时间序列.时间序列分析.时间序列效应分解.平稳时间序列.AIC和BIC 目录时间序列.时间序列分析.时间序列效应分解.平稳时间序列.AIC和BIC
时间序列分析-针对时间序列的特殊方法
时间序列分析-针对时间序列的特殊方法本文依据知乎大佬的文章平稳性许多时间序列的统计学模型都是依赖于时间序列是平稳性的这一前提条件,通常来说,一个平稳的时间序列指的是这个时间序列在一段时间内具 ...
时间序列分析 | Python时间序列预测理论一览
时间序列分析 | Python时间序列预测理论一览目录时间序列分析 | Python时间序列预测理论一览基本介绍特性描述建模方法规则介绍模型分类传统时序模型树模型线性回归神经网络 ...
时间序列分析 | Python时间序列数据统计分布
时间序列分析 | Python时间序列数据统计分布目录时间序列分析 | Python时间序列数据统计分布基本介绍分布类型均匀分布高斯分布对数正态分布泊松分布指数分布学生t分布卡方 ...
时间序列分析--手算时间序列
大部分内容来自DataWhale时间序列分析的学习资料. 标题时间序列数据本质上反映的是某个或某些随机变量时间不断变化的趋势,而时间序列方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出 ...
【时间序列分析】09.AR(p)序列的谱密度及其他性质
文章目录九. A R ( p ) {\rm AR}(p) AR(p)序列的谱密度及其他性质 1. A R ( p ) {\rm AR}(p) AR(p)序列的谱密度与反演公式 2.自协方差函数的周期 ...
pta求阶乘序列前n项和_python在时间序列分析中的简介
1 时间序列分析简介时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列. 时间序列分析的主要目的是根据已有的历史数据对未来进行预测.与面板数据不同,面板数据侧重于同一时间点不同样本 ...
2.3-非平稳时间序列分析
时间序列分析第三节非平稳时间序列分析一般,我们得到的序列都是非平稳序列. 这便要求我们对其进行处理. 非平稳序列变为平稳序列(利用差分运算) ARIMA模型的拟合 3.1 非平稳序列变为平稳序列 ...
时间序列分析建模及相关算法的python实现
纯随机性检验原理: 纯随机序列:平稳序列值之间没有任何相关性的序称为纯随机序列,这意味着该序列过去的行为对将来的发展没有丝毫影响. 从统计分析的角度而言, 纯随机序列没有任何分析价值.纯随机序列也称 ...
R语言入门（2）时间序列分析原理
1.随机游走模型 1.1 基本介绍随机游走模型是时间序列分析中最基本的概念,是一个著名的非平稳序列.公式如下: Yt=Yt−1+ut Y_t = Y_{t-1} + u_t 式中, utu_t是一个 ...

【时间序列分析】01.时间序列与平稳序列

文章目录