时间序列 · 平稳序列
- 时间序列的定义
- 平稳序列的定义
- 随机变量的线性相关
- 白噪声序列
- 正交平稳序列

时间序列 · 平稳序列

时间序列的定义

时间序列是按照时间次序排列的随机变量序列。任何时间序列经过合理的函数变换后都可以被认为是由三个部分叠加而成的：趋势项部分、周期项部分和随机噪声项部分。
Xt=Tt+St+Rt,t=1,2,...X_t=T_t+S_t+R_t \ , \ \ \ \ t=1,2,... Xt=Tt+St+Rt , t=1,2,...
时间序列在适当的去掉趋势项和季节项后，剩下的随机部分通常会有某种平稳性。带有平稳性的时间序列是时间序列分析研究的重点。于是，引出平稳序列的相关概念和性质。

平稳序列的定义

对于独立时间序列 {Xt}\{X_t\}{Xt} ，(X1,X2,...,Xn)(X_1,X_2,...,X_n)(X1,X2,...,Xn) 和 Xn+1X_{n+1}Xn+1 独立，从而不会含有任何关于 Xn+1X_{n+1}Xn+1 的信息。平稳时间序列的历史记录 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn 中往往含有 Xn+1X_{n+1}Xn+1 的信息，这就使得利用历史样本预测将来成为可能。

如果时间序列 {Xt}\{X_t\}{Xt} 满足

(1) 对任何 t∈Nt\in\Nt∈N ，E(Xt2)<∞{\rm E}(X_t^2)<\inftyE(Xt2)<∞ ；

(2) 对任何 t∈Nt\in\Nt∈N ，E(Xt)=μ{\rm E}(X_t)=\muE(Xt)=μ ；

(3) 对任何 t,s∈Nt,\,s\in\Nt,s∈N ，E[(Xt−μ)(Xs−μ)]=γt−s{\rm E}[(X_t-\mu)(X_s-\mu)]=\gamma_{t-s}E[(Xt−μ)(Xs−μ)]=γt−s

就称 {Xt}\{X_t\}{Xt} 是平稳时间序列，称实数列 {γk}\{\gamma_k\}{γk} 为 {Xt}\{X_t\}{Xt} 的自协方差函数。

平稳序列中的随机变量 XtX_tXt 的均值和方差都是与 ttt 无关的常数。

对任何 t,s∈Zt,\,s\in\Zt,s∈Z 和 k∈Zk\in\Zk∈Z ，(Xt,Xs)(X_t,\,X_s)(Xt,Xs) 和平移 kkk 步后的 (Xt+k,Xs+k)(X_{t+k},\,X_{s+k})(Xt+k,Xs+k) 有相同的协方差：
Cov(Xt,Xs)=Cov(Xt+k,Xs+k)=γt−s{\rm Cov}(X_t,\,X_s)={\rm Cov}(X_{t+k},\,X_{s+k})=\gamma_{t-s} Cov(Xt,Xs)=Cov(Xt+k,Xs+k)=γt−s
即平稳序列的任意两个随机变量的协方差只与时间差有关，称为协方差结构的平移不变性。

时间序列分析的重要特点之一是利用自协方差函数研究平稳序列的统计性质，因此需要对 {γk}\{\gamma_k\}{γk} 的性质进行探讨。

自协方差函数满足以下三条基本性质：

(1) 对称性：γk=γ−k\gamma_k=\gamma_{-k}γk=γ−k ，对所有 k∈Zk\in\Zk∈Z 成立；

(2) 非负定性：对任何 n∈N+n\in\N_+n∈N+ ，nnn 阶自协方差矩阵
Γn=(γk−j)k,j=1n=[γ0γ1⋯γn−1γ1γ0⋯γn−2⋮⋮⋮γn−1γn−2⋯γ0]\boldsymbol{\Gamma}_n=(\gamma_{k-j})_{k,\,j=1}^n=\left[ \begin{array}{cccc} \gamma_0 & \gamma_1 & \cdots & \gamma_{n-1} \\ \gamma_1 & \gamma_0 & \cdots & \gamma_{n-2} \\ \vdots & \vdots & & \vdots \\ \gamma_{n-1} & \gamma_{n-2} & \cdots & \gamma_0 \\ \end{array} \right] Γn=(γk−j)k,j=1n=⎣⎢⎢⎢⎡γ0γ1⋮γn−1γ1γ0⋮γn−2⋯⋯⋯γn−1γn−2⋮γ0⎦⎥⎥⎥⎤
是非负定矩阵；

(3) 有界性：∣γk∣≤γ0|\gamma_k|\leq\gamma_0∣γk∣≤γ0 ，对所有 k∈Zk\in\Zk∈Z 成立。

任何满足上述性质的实数列都被称为非负定序列。

平稳序列的自协方差函数是非负定序列，每个非负定序列都可以是一个平稳序列的自协方差函数。

性质 (1) 的证明：由定义直接得到。

性质 (2) 的证明：任取一个 nnn 维实向量 an=(a1,a2,...,an)T\boldsymbol{a}_n=(a_1,a_2,...,a_n)^{\rm T}an=(a1,a2,...,an)T ，
anTΓnan=∑i=1n∑j=1naiajγi−j=∑i=1n∑j=1naiajE[(Xi−μ)(Xi−μ)]=E(∑i=1n∑j=1naiaj(Xi−μ)(Xi−μ))=E(∑i=1nai(Xi−μ))2=Var(∑i=1nai(Xi−μ))≥0.\begin{aligned} \boldsymbol{a}_n^{\rm T}\boldsymbol{\Gamma}_n\boldsymbol{a}_n &=\sum_{i=1}^n\sum_{j=1}^na_ia_j\gamma_{i-j} \\ &=\sum_{i=1}^n\sum_{j=1}^na_ia_j{\rm E}[(X_{i}-\mu)(X_{i}-\mu)] \\ &={\rm E}\left(\sum_{i=1}^n\sum_{j=1}^na_ia_j(X_{i}-\mu)(X_{i}-\mu)\right) \\ &={\rm E}\left(\sum_{i=1}^na_i(X_i-\mu)\right)^2 \\ &={\rm Var}\left(\sum_{i=1}^na_i(X_i-\mu)\right)\geq0 . \end{aligned} anTΓnan=i=1∑nj=1∑naiajγi−j=i=1∑nj=1∑naiajE[(Xi−μ)(Xi−μ)]=E(i=1∑nj=1∑naiaj(Xi−μ)(Xi−μ))=E(i=1∑nai(Xi−μ))2=Var(i=1∑nai(Xi−μ))≥0.
性质 (3) 的证明：需要利用柯西不等式。

首先对随机变量进行中心化，取 Yt=Xt−μY_t=X_t-\muYt=Xt−μ ，以后常假设均值为 000 ，可以将方差和二阶矩等价联系起来。

由柯西不等式得：
∣γk∣=∣E(Yk+1Y1)∣≤EYk+12Y12=γ0.|\gamma_k|=|{\rm E}(Y_{k+1}Y_1)|\leq\sqrt{{\rm E}Y_{k+1}^2Y_1^2}=\gamma_0. ∣γk∣=∣E(Yk+1Y1)∣≤EYk+12Y12=γ0.
由自协方差函数的概念可以等价得到自相关系数的概念，在此之前需要引入标准化序列的概念。

由于平稳序列经过线性变换后仍然是平稳序列，因此特别取
Yt=Xt−μγ0,t∈ZY_t=\frac{X_t-\mu}{\displaystyle\sqrt{\gamma_0}}\ , \ \ \ \ t\in\Z Yt=γ0Xt−μ , t∈Z
就得到标准化的平稳序列 {Yt}\{Y_t\}{Yt} ，这时有 EYt=0{\rm E}Y_t=0EYt=0 ，EYt2=1{\rm E}Y_t^2=1EYt2=1 对每个 ttt 成立。

设平稳序列 {Xt}\{X_t\}{Xt} 的标准化序列是 {Yt}\{Y_t\}{Yt} ，{Yt}\{Y_t\}{Yt} 的自协方差函数
ρk=γkγ0,k∈Z\rho_k=\frac{\gamma_k}{\gamma_0}\ , \ \ \ \ k\in\Z ρk=γ0γk , k∈Z
称为平稳序列 {Xt}\{X_t\}{Xt} 的自相关系数。

自相关系数 {ρk}\{\rho_k\}{ρk} 满足规范性，即 ρ0=1\rho_0=1ρ0=1 且 ∣ρk∣≤1|\rho_k|\leq1∣ρk∣≤1 ，同样也满足对称性和非负定性。

随机变量的线性相关

定义随机向量 X=(X1,X2,...,Xn)T\boldsymbol{X}=(X_1,X_2,...,X_n)^{\rm T}X=(X1,X2,...,Xn)T ，则 Γn=Var(X)\boldsymbol{\Gamma}_n={\rm Var}(\boldsymbol{X})Γn=Var(X) 。

关于随机向量 X\boldsymbol{X}X 和矩阵 A,B\boldsymbol{A},\,\boldsymbol{B}A,B ，有
E(A+BX)=A+BE(X),{\rm E}(\boldsymbol{A}+\boldsymbol{B}\boldsymbol{X})=\boldsymbol{A}+\boldsymbol{B}{\rm E}(\boldsymbol{X}), E(A+BX)=A+BE(X),

Var(A+BX)=BVar(X)BT,{\rm Var}(\boldsymbol{A}+\boldsymbol{B}\boldsymbol{X})=\boldsymbol{B}{\rm Var}(\boldsymbol{X})\boldsymbol{B}^{\rm T}, Var(A+BX)=BVar(X)BT,

且 X\boldsymbol{X}X 的协方差阵 Var(X){\rm Var}(\boldsymbol{X})Var(X) 总是非负定的。

我们已知自协方差矩阵 Γn\boldsymbol{\Gamma}_nΓn 是非负定的，接下来讨论的 Γn\boldsymbol{\Gamma}_nΓn 退化条件，即 Γn\boldsymbol{\Gamma}_nΓn 的不满秩条件。

设向量 an=(a1,a2,...,an)T\boldsymbol{a}_n=(a_1,a_2,...,a_n)^{\rm T}an=(a1,a2,...,an)T ，则
anTΓnan=Var(anTX)=Var(∑i=1naiXi)≥0\boldsymbol{a}_n^{\rm T}\boldsymbol{\Gamma}_n\boldsymbol{a}_n={\rm Var}(\boldsymbol{a}_n^{\rm T}\boldsymbol{X})={\rm Var}\left(\sum_{i=1}^na_iX_i\right)\geq0 anTΓnan=Var(anTX)=Var(i=1∑naiXi)≥0
因此 Γn\boldsymbol{\Gamma}_nΓn 退化当且仅当存在一个非零向量 an≠0\boldsymbol{a}_n\neq0an=0 使得
Var(anTX)=Var(∑i=1naiXi)=0{\rm Var}(\boldsymbol{a}_n^{\rm T}\boldsymbol{X})={\rm Var}\left(\sum_{i=1}^na_iX_i\right)=0 Var(anTX)=Var(i=1∑naiXi)=0
这时称随机变量 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn 是线性相关的，即 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn 的非零线性组合 anTX\boldsymbol{a}_n^{\rm T}\boldsymbol{X}anTX 是退化随机变量（常数）。

进一步有如果 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn 线性相关，则只要 m≥nm\geq nm≥n ，有 X1,X2,...,XmX_1,X_2,...,X_mX1,X2,...,Xm 线性相关。

白噪声序列

白噪声是用来描述简单随机干扰的平稳序列，是最简单的平稳序列。

设 {ϵt}\{\epsilon_t\}{ϵt} 是一个平稳序列，如果对任何 s,t∈Ns,\,t\in\Ns,t∈N ，
E(ϵt)=μ,Cov(ϵt,ϵs)={σ2,t=s,0,t≠s,{\rm E}(\epsilon_t)=\mu \ , \ \ \ \ {\rm Cov}(\epsilon_t,\,\epsilon_s)=\left\{ \begin{array}{ll} \sigma^2\ , & t=s\ ,\\ 0\ , & t\neq s\ , \end{array} \right. E(ϵt)=μ , Cov(ϵt,ϵs)={σ2 ,0 ,t=s ,t=s ,
就称 {ϵt}\{\epsilon_t\}{ϵt} 是一个白噪声，记作 WN(μ,σ2){\rm WN}(\mu,\,\sigma^2)WN(μ,σ2) 。

当 {ϵt}\{\epsilon_t\}{ϵt} 是独立序列时，称 {ϵt}\{\epsilon_t\}{ϵt} 是独立白噪声；
当 μ=0\mu=0μ=0 时，称 {ϵt}\{\epsilon_t\}{ϵt} 是零均值白噪声；
当 μ=0\mu=0μ=0 且 σ2=1\sigma^2=1σ2=1 时，称 {ϵt}\{\epsilon_t\}{ϵt} 是标准白噪声；
当 ϵt∼N(0,1)\epsilon_t\sim{\rm N}(0,\,1)ϵt∼N(0,1) 时，称 {ϵt}\{\epsilon_t\}{ϵt} 是正态白噪声，易证正态白噪声也是一类独立白噪声。

正交平稳序列

首先引入随机变量的正交性和不相关性的概念。

设 XXX 和 YYY 是方差有限的随机变量，如果 E(XY)=0{\rm E}(XY)=0E(XY)=0 ，就称 XXX 和 YYY 是正交的。如果 Cov(X,Y)=0{\rm Cov}(X,\,Y)=0Cov(X,Y)=0 ，就称 XXX 和 YYY 是不相关的。

对于零均值的随机变量，正交性和不相关性等价。

下面给出平稳序列的正交性和不相关性的概念。

对于平稳序列 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} ，

如果对任何 s,t∈Zs,\,t\in\Zs,t∈Z ，E(XtYs)=0{\rm E}(X_tY_s)=0E(XtYs)=0 ，则称 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 是正交的；

如果对任何 s,t∈Zs,\,t\in\Zs,t∈Z ，Cov(Xt,Ys)=0{\rm Cov}(X_t,\,Y_s)=0Cov(Xt,Ys)=0 ，则称 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 是不相关的；

对于零均值的平稳序列，正交性和不相关性等价。

具有正交性或不相关性的平稳序列具有如下良好的性质：

设平稳序列 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 的自协方差函数分别为 γX(k)\gamma_X(k)γX(k) 和 γY(k)\gamma_Y(k)γY(k) ，数学期望分别为 μX\mu_XμX 和 μY\mu_YμY 。定义
Zt=Xt+Yt,t∈Z.Z_t=X_t+Y_t \ , \ \ \ \ t\in\Z . Zt=Xt+Yt ,    t∈Z.
(1) 如果 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 正交，则 {Zt}\{Z_t\}{Zt} 是平稳序列，且有自协方差函数
γZ(k)=γX(k)+γY(k)−2μXμY,k=0,1,2,...\gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)-2\mu_X\mu_Y\ , \ \ \ \ k=0,1,2,... γZ(k)=γX(k)+γY(k)−2μXμY ,    k=0,1,2,...
(2) 如果 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 不相关，则 {Zt}\{Z_t\}{Zt} 是平稳序列，且有自协方差函数
γZ(k)=γX(k)+γY(k),k=0,1,2,...\gamma_Z(k)=\gamma_X(k)+\gamma_Y(k)\ , \ \ \ \ k=0,1,2,... γZ(k)=γX(k)+γY(k) ,    k=0,1,2,...

证明 {Zt}\{Z_t\}{Zt} 是平稳序列需要证明以下三条性质

二阶矩有限：
EZt2=E(Xt+Yt)2≤E(Xt2+Yt2)<∞.{\rm E}Z_t^2={\rm E}(X_t+Y_t)^2\leq{\rm E}(X_t^2+Y_t^2)<\infty. EZt2=E(Xt+Yt)2≤E(Xt2+Yt2)<∞.
均值为常数：
μZ=EZt=E(Xt+Yt)=μX+μY.\mu_Z={\rm E}Z_t={\rm E}(X_t+Y_t)=\mu_X+\mu_Y. μZ=EZt=E(Xt+Yt)=μX+μY.
自协方差函数只与时间差有关：

如果 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 正交：
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+γY(t−s)+E(XtYs)−E(Xt)E(Ys)+E(YtXs)−E(Yt)E(Xs)=γX(t−s)+γY(t−s)+0−μXμY+0−μXμY=γX(t−s)+γY(t−s)−2μXμY.\begin{aligned} {\rm Cov}(Z_t,\,Z_s)&={\rm Cov}(X_t,\,X_s)+{\rm Cov}(X_t,\,Y_s)+{\rm Cov}(Y_t,\,X_s)+{\rm Cov}(Y_t,\,Y_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)+{\rm E}(X_tY_s)-{\rm E}(X_t){\rm E}(Y_s)+{\rm E}(Y_tX_s)-{\rm E}(Y_t){\rm E}(X_s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s)+0-\mu_X\mu_Y+0-\mu_X\mu_Y \\ &=\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y. \end{aligned} Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+γY(t−s)+E(XtYs)−E(Xt)E(Ys)+E(YtXs)−E(Yt)E(Xs)=γX(t−s)+γY(t−s)+0−μXμY+0−μXμY=γX(t−s)+γY(t−s)−2μXμY.
如果 {Xt}\{X_t\}{Xt} 和 {Yt}\{Y_t\}{Yt} 不相关：
Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+0+0+γY(t−s)=γX(t−s)+γY(t−s).\begin{aligned} {\rm Cov}(Z_t,\,Z_s)&={\rm Cov}(X_t,\,X_s)+{\rm Cov}(X_t,\,Y_s)+{\rm Cov}(Y_t,\,X_s)+{\rm Cov}(Y_t,\,Y_s) \\ &=\gamma_X(t-s)+0+0+\gamma_Y(t-s) \\ &=\gamma_X(t-s)+\gamma_Y(t-s). \end{aligned} Cov(Zt,Zs)=Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)=γX(t−s)+0+0+γY(t−s)=γX(t−s)+γY(t−s).
令 t−s=kt-s=kt−s=k 即可得证自协方差函数的表达式。

【时间序列分析】01. 时间序列·平稳序列相关推荐

时间序列、时间序列分析、时间序列效应分解、平稳时间序列、AIC和BIC
时间序列.时间序列分析.时间序列效应分解.平稳时间序列.AIC和BIC 目录时间序列.时间序列分析.时间序列效应分解.平稳时间序列.AIC和BIC
时间序列分析-针对时间序列的特殊方法
时间序列分析-针对时间序列的特殊方法本文依据知乎大佬的文章平稳性许多时间序列的统计学模型都是依赖于时间序列是平稳性的这一前提条件,通常来说,一个平稳的时间序列指的是这个时间序列在一段时间内具 ...
时间序列分析 | Python时间序列预测理论一览
时间序列分析 | Python时间序列预测理论一览目录时间序列分析 | Python时间序列预测理论一览基本介绍特性描述建模方法规则介绍模型分类传统时序模型树模型线性回归神经网络 ...
时间序列分析 | Python时间序列数据统计分布
时间序列分析 | Python时间序列数据统计分布目录时间序列分析 | Python时间序列数据统计分布基本介绍分布类型均匀分布高斯分布对数正态分布泊松分布指数分布学生t分布卡方 ...
当一个序列满足对于任意的前项和都满足不小于_时间序列分析第01讲--平稳序列（基本概念，线性平稳序列）...
第一章平稳序列 1.1平稳序列基本概念无论是从原序列中把趋势项去掉得到的随机波动项,还是用随机差分后得到残差序列,都会存在一种现象:随机项会沿着水平值波动,并且前后之间具有相关性,与独立序列不同. ...
时间序列分析--手算时间序列
大部分内容来自DataWhale时间序列分析的学习资料. 标题时间序列数据本质上反映的是某个或某些随机变量时间不断变化的趋势,而时间序列方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出 ...
时间序列分析part3严格平稳与弱平稳
通俗的理解就是前面的数据与后面的数据是有关联的,它们之间的关系不能有太大的改变比如这种,突然崩盘,就是突然改变了关系算法模型的预测原理,数据之间有关联才能预测数据,关系突然改变,自然预测不了故时 ...
pta求阶乘序列前n项和_python在时间序列分析中的简介
1 时间序列分析简介时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列. 时间序列分析的主要目的是根据已有的历史数据对未来进行预测.与面板数据不同,面板数据侧重于同一时间点不同样本 ...
ARIMA时间序列分析
简介 ARIMA算法流程步骤(算法数学推导自行查阅相关论文),本文只讲工程技术和方法. 参考文章标题:ARIMA模型地址:http://wiki.mbalib.com/wiki/ARIMA%E6% ...
一文速学-时间序列分析算法之移动平均模型(MA)详解+Python实例代码
目录前言一.移动平均模型(MA) 模型原理自回归移动平均模型自相关系数常用的 MA 模型的自相关系数通用: MA(1)模型: MA(2)模型: 自协方差函数二.Python案例实现平 ...

【时间序列分析】01. 时间序列·平稳序列

Contents