【应用随机过程】04. 马尔可夫链的平稳分布
文章目录
- 第四讲 马尔可夫链的平稳分布
- 一、平稳分布
- Part 1：平稳分布
- Part 2：不可约马尔可夫链的性质
- Part 3：极限分布
- 二、状态空间的分解
- Part 1：状态空间的分解
- Part 2：有限状态空间的分解
- Part 3：吸收概率和平均吸收时间
第四讲 马尔可夫链的平稳分布
一、平稳分布
Part 1：平稳分布
严平稳过程：设 { X n : n ≥ 0 } \{X_n:n\geq0\} {Xn:n≥0} 是一个随机过程，如果对任意 n ≥ 0 n\geq0 n≥0 和 m ≥ 1 m\geq1 m≥1 ，有
( X m , X m + 1 , ⋯ , X m + n ) = d ( X 0 , X 1 , ⋯ , X n ) , \left(X_m,X_{m+1},\cdots,X_{m+n}\right)\xlongequal{d}\left(X_0,X_{1},\cdots,X_{n}\right) \ , (Xm,Xm+1,⋯,Xm+n)d (X0,X1,⋯,Xn) ,
则称 { X n : n ≥ 0 } \{X_n:n\geq0\} {Xn:n≥0} 是严平稳过程。即随机过程的任意有限维分布不依赖于时间。
设 { X n } \{X_n\} {Xn} 是时齐的马尔可夫链，如果 { X n } \{X_n\} {Xn} 是严平稳过程，则称 { X n } \{X_n\} {Xn} 具有平稳分布。这里我们只需考虑初始分布和一步之后的分布相同的情况，因为由此可以推出任意步之后的分布都和初始分布相同。
设初始分布为 π = ( π 1 , π 2 , ⋯ , π N ) \pi=(\pi_1,\pi_2,\cdots,\pi_N) π=(π1,π2,⋯,πN) ，一步转移矩阵为 P = ( p i j ) N × N P=(p_{ij})_{N\times N} P=(pij)N×N ，则一步之后的分布为 π P \pi P πP 。因此 { X n } \{X_n\} {Xn} 具有平稳分布当且仅当 π = π P \pi=\pi P π=πP ，此时我们称 π \pi π 为 { X n } \{X_n\} {Xn} 的平稳分布。
设 { X n } \{X_n\} {Xn} 具有平稳分布，如果我们想要求出平稳分布，需要求解下列具有约束条件的线性方程组：
{ ∑ i = 1 N π i p i j = π j , j = 1 , 2 , ⋯ , N , ∑ i = 1 N π i = 1 , π i ≥ 0 , i = 1 , 2 , ⋯ , N . \left\{\begin{array}{l} \displaystyle\sum_{i=1}^N\pi_ip_{ij=\pi_j} \ , \quad j=1,2,\cdots,N \ , \\ \displaystyle\sum_{i=1}^N\pi_i=1 \ , \\ \pi_i\geq0 \ , \quad i=1,2,\cdots,N \ . \end{array} \right. ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧i=1∑Nπipij=πj ,j=1,2,⋯,N ,i=1∑Nπi=1 ,πi≥0 ,i=1,2,⋯,N .
注意，马尔可夫链的平稳分布不一定是唯一的，与上述方程组的解的情况有关。
Part 2：不可约马尔可夫链的性质
这里我们就列出几个定理而不给出证明了。
定理：不可约马尔可夫链的性质
- 如果 { X n } \{X_n\} {Xn} 不可约非周期，则 { X n } \{X_n\} {Xn} 存在平稳分布当且仅当 { X n } \{X_n\} {Xn} 正常返，此时平稳分布 π \pi π 唯一且 π i = 1 μ i \pi_i=\dfrac1{\mu_i} πi=μi1 。
- 如果非周期不可约正常返，即 { X n } \{X_n\} {Xn} 遍历，则对任何 i , j ∈ I i,j\in I i,j∈I ，都有 lim n → ∞ p i j ( n ) = π j \displaystyle\lim_{n\to\infty}p_{ij}^{(n)}=\pi_j n→∞limpij(n)=πj 。
- 如果状态空间 I I I 有限，则 { X n } \{X_n\} {Xn} 一定正常返。
定理：常返和暂留的其他性质
- 如果状态空间 I I I 有限，则状态 i i i 常返当且仅当 i i i 的互达等价类是闭集，并且此时 i i i 是正常返。
- 如果 j j j 暂留或零常返，则对任意 i i i 都有 lim n → ∞ p i j ( n ) = 0 \displaystyle\lim_{n\to\infty}p_{ij}^{(n)}=0 n→∞limpij(n)=0 。
推论：正常返和零常返的等价描述
- 状态 i i i 正常返当且仅当 lim n → ∞ 1 n ∑ k = 1 n p i i ( k ) = 1 μ j > 0 \displaystyle\lim_{n\to\infty}\frac1n\sum_{k=1}^np_{ii}^{(k)}=\frac1{\mu_j}>0 n→∞limn1k=1∑npii(k)=μj1>0 。
- 状态 i i i 零常返当且仅当 ∑ n = 1 ∞ p i i ( n ) = 1 μ j > 0 \displaystyle\sum_{n=1}^\infty p_{ii}^{(n)}=\frac1{\mu_j}>0 n=1∑∞pii(n)=μj1>0 。
Part 3：极限分布
对于时齐的马尔可夫链 { X n } \{X_n\} {Xn} ，如果存在状态空间 I I I 上的概率分布 μ = ( μ i : i ∈ I ) \mu=(\mu_i:i\in I) μ=(μi:i∈I) ，使得对所有状态 i ∈ I i\in I i∈I 都有概率分布 lim n → ∞ P ( X n = i ) = μ i \displaystyle\lim_{n\to\infty}P(X_n=i)=\mu_i n→∞limP(Xn=i)=μi ，则称 μ \mu μ 是 { X n } \{X_n\} {Xn} 的极限分布。
需要注意两点：
- 极限分布可以不存在。
- 极限分布可以依赖于初始分布。
对于时齐的马尔可夫链 { X n } \{X_n\} {Xn} ，在已知初始分布 μ ( 0 ) \mu^{(0)} μ(0) 和转移概率矩阵 P P P 的情况下，想要计算该马尔可夫链的极限分布，只需要计算 lim n → ∞ P ( n ) = lim n → ∞ P n \displaystyle\lim_{n\to\infty}P^{(n)}=\lim_{n\to\infty}P^{n} n→∞limP(n)=n→∞limPn ，从而有
μ = μ ( 0 ) ⋅ lim n → ∞ P n . \mu=\mu^{(0)}\cdot\lim_{n\to\infty} P^{n} \ . μ=μ(0)⋅n→∞limPn .
根据线性代数的知识，我们可以通过计算矩阵特征值的方法得到 lim n → ∞ P n \displaystyle\lim_{n\to\infty}P^{n} n→∞limPn 的结果但在这里我们不做要求。思考一个问题：极限分布和平稳分布之间是否存在什么样的关系？
一般情况下，极限分布与平稳分布之间没有必然联系，但在一些特殊条件的约束下，我们常常有极限分布与平稳分布是相同的。此时我们就可以通过求解平稳分布的方法，计算出极限分布。
定理：若 { X n } \{X_n\} {Xn} 是不可约非周期的马尔可夫链，转移概率矩阵为 P P P ，则该马尔可夫链存在极限分布当且仅当存在平稳分布，并且两者相等。
二、状态空间的分解
Part 1：状态空间的分解
这里我们需要了解两个定理。
定理：如果 i ∈ I i\in I i∈I 常返，则 i i i 的互达等价类 C i = { j ∈ I : i ↔ j } C_i=\{j\in I:i\leftrightarrow j\} Ci={j∈I:i↔j} 是闭集。
采用反证法。假设 C i C_i Ci 不是闭集，则存在 j ∈ C i j\in C_i j∈Ci 和 k ∉ C i k\notin C_i k∈/Ci 使得 j → k j\to k j→k 。注意到 k ↛ j k\not\to j k→j ，否则 k ↔ j k\leftrightarrow j k↔j 进而 k ∈ C i k\in C_i k∈Ci 。这样有 i → j , j → k i\to j,\,j\to k i→j,j→k 但 k ↛ i k\not\to i k→i ，即从 i i i 出发的过程，存在一个正的概率进入状态 k k k 之后不再返回状态 i i i ，所以 i i i 不是常返态，矛盾。
定理：状态空间的分解定理：
I = C 1 ∪ C 2 ∪ ⋯ ∪ C k ∪ T , I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , I=C1∪C2∪⋯∪Ck∪T ,
其中 C i C_i Ci 表示常返状态互达等价类， T T T 表示所有暂留态的全体。由第一个定理可知，不同常返状态互达等价类是互不相交的闭集。这里 k k k 可以取 + ∞ +\infty +∞ 。
Part 2：有限状态空间的分解
利用不可约马尔可夫链的性质，我们再看马尔可夫链状态空间的分解定理，
I = C 1 ∪ C 2 ∪ ⋯ ∪ C k ∪ T , I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , I=C1∪C2∪⋯∪Ck∪T ,
这次我们限制状态空间 I I I 是有限的，则这里的每个集合都是有限集，其中 C 1 , C 2 , ⋯ , C k C_1,C_2,\cdots,C_k C1,C2,⋯,Ck 是所有的常返的互达等价类且是闭集， T T T 是余下的所有暂留态的全体，这里 k k k 一定是有限数。我们有如下结论：
- 互达等价类 C 1 , C 2 , ⋯ , C k C_1,C_2,\cdots,C_k C1,C2,⋯,Ck 中的各状态都是正常返的。
- 如果 X 0 ∈ C i X_0\in C_i X0∈Ci 中，则该马尔可夫链将永远不会离开 C i C_i Ci 。可以缩小状态空间，把 { X n } \{X_n\} {Xn} 限制在 C i C_i Ci 上得到一个状态空间为 C i C_i Ci 的不可约正常返的马尔可夫链。
- 如果 X 0 ∈ T X_0\in T X0∈T ，则该马尔可夫链最终会进入某个 C i C_i Ci 并将永远不会离开。
Part 3：吸收概率和平均吸收时间
这里我们主要介绍一种分析方法——一步分析法。首先我们了解一下我们需要研究的问题，考虑有限状态空间的马尔可夫链，根据上述定理，可以将状态空间分解为
I = C 1 ∪ C 2 ∪ ⋯ ∪ C k ∪ T , I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , I=C1∪C2∪⋯∪Ck∪T ,
其中 C 1 , C 2 , ⋯ , C k C_1,C_2,\cdots,C_k C1,C2,⋯,Ck 是正常返的互达等价类， T T T 是暂留态的全体。
定义 a i = P ( T C 1 < ∞ ∣ X 0 = i ) a_i=P\left(T_{C_1}<\infty|X_0=i\right) ai=P(TC1<∞∣X0=i) ，表示从状态 i i i 出发在有限步内进入闭集 C 1 C_1 C1 的概率，则有
a i = { 1 , i ∈ C 1 , 0 , i ∈ C j , j ≠ 1 , ∑ j p i j a j , i ∈ T . a_i=\left\{ \begin{array}{ll} 1 \ , & i\in C_1 \ , \\ 0 \ , & i\in C_j \ , \ \ j\neq 1\ , \\ \sum\limits_{j}p_{ij}a_j \ , & i\in T \ . \end{array} \right. ai=⎩⎪⎨⎪⎧1 ,0 ,j∑pijaj ,i∈C1 ,i∈Cj , j=1 ,i∈T .
令 i i i 取遍 T T T 中所有的暂留态，便可以得到一个线性方程组，进而我们便可以解出从任意状态 i i i 出发在有限步内进入 C 1 C_1 C1 的概率，同理也可以解出进入其他闭集 C i C_i Ci 的吸收概率。
由于马尔可夫链一旦进入某个 C i C_i Ci 之后将永远不会离开 C i C_i Ci ，所以我们一般研究从某个暂留态 i ∈ T i\in T i∈T 出发，最终被某个 C i C_i Ci 吸收概率，这就是吸收概率问题。
接下来我们研究平均吸收时间问题。定义 h i = E ( T C ∣ X 0 = i ) h_i={\rm E}\left(T_C|X_0=i\right) hi=E(TC∣X0=i) ，表示从状态 i i i 出发进入集合 C C C 的平均时间，这里不妨设正常返态的全体为 C = d e f C 1 ∪ C 2 ∪ ⋯ ∪ C k C\xlongequal{def}C_1\cup C_2\cup\cdots\cup C_k Cdef C1∪C2∪⋯∪Ck ，则有
h i = { 0 , i ∈ C , ∑ j p i j ( 1 + h j ) = 1 + ∑ j p i j h j , i ∈ T . h_i=\left\{ \begin{array}{ll} 0 \ , & i\in C \ , \\ \sum\limits_{j}p_{ij}(1+h_j)=1+ \sum\limits_{j}p_{ij}h_j \ , & i\in T \ . \end{array} \right. hi={0 ,j∑pij(1+hj)=1+j∑pijhj ,i∈C ,i∈T .
同理我们令 i i i 取遍 T T T 中所有的暂留态，便可以通过求解线性方程组，解得从任意状态 i i i 出发进入集合 C C C 的平均时间。
可以看到，一步分析法的基本思想就是全概率公式。当马尔可夫链存在多个闭集时，我们可以利用马尔可夫性和全概率公式，利用一步分析法建立线性方程组，从而计算被某一个特定闭集吸收的吸收概率和平均吸收时间。一般情况下，一步分析法常应用于状态空间中存在吸收态的情况。常见的例子有赌徒输光问题和迷宫老鼠问题，可以在课本中找到。这里我们看一个特殊的例子。
股票价格问题：用 X n X_n Xn 表示 n n n 时刻某只股票的价格，设 { X n } \{X_n\} {Xn} 是一个时齐马尔可夫链，状态空间为 I = { 1 , 2 , 3 , 4 , 5 } I=\{1,2,3,4,5\} I={1,2,3,4,5} ，一步转移矩阵为
P = [ 1 2 1 2 0 0 0 1 3 1 3 1 3 0 0 0 1 4 1 4 1 2 0 0 0 1 2 1 4 1 4 0 0 1 8 4 8 3 8 ] . P=\left[\begin{array}{ccccc} \frac12 &\frac12 & 0 & 0 & 0 \\ \frac13 & \frac13 & \frac13 & 0 & 0 \\ 0 & \frac14 & \frac14 & \frac12 & 0 \\ 0 & 0 & \frac12 & \frac14 & \frac14 \\ 0 & 0 & \frac18 & \frac48 & \frac38 \\ \end{array}\right] \ . P=⎣⎢⎢⎢⎢⎡213100021314100031412181002141840004183⎦⎥⎥⎥⎥⎤ .
已知初始分布为 P ( X 0 = 2 ) = 3 4 , P ( X 0 = 3 ) = 1 4 P(X_0=2)=\dfrac34,\,P(X_0=3)=\dfrac14 P(X0=2)=43,P(X0=3)=41 。(1) 求股票价格在涨到 4 4 4 元之前不曾跌倒 1 1 1 元的概率。
(2) 求股票价格到达 4 4 4 元的平均时间。
解：(1) 所求概率为 P ( T 4 < T 1 ) P(T_4<T_1) P(T4<T1) 。注意到，该值与到达 1 1 1 或到达 4 4 4 之后的过程没有关系，即我们所关心的问题在股票价格到达 1 1 1 或 4 4 4 之后便停止研究，所以我们可以将 1 1 1 和 4 4 4 看成吸收态。
定义 a i = P ( T 4 < T 1 ∣ X 0 = i ) a_i=P(T_4<T_1|X_0=i) ai=P(T4<T1∣X0=i) ，则 a 1 = 0 , a 4 = 1 a_1=0,\,a_4=1 a1=0,a4=1 。由题意知以下方程组成立：
{ a 2 = 1 3 a 1 + 1 3 a 2 + 1 3 a 3 , a 3 = 1 4 a 2 + 1 4 a 3 + 1 2 a 4 , \left\{ \begin{array}{l} a_2=\dfrac13 a_1+\dfrac13 a_2+\dfrac13a_3\ , \\ a_3=\dfrac14a_2+\dfrac14a_3+\dfrac12a_4 \ , \end{array}\right. ⎩⎪⎨⎪⎧a2=31a1+31a2+31a3 ,a3=41a2+41a3+21a4 ,
解得 a 2 = 2 5 , a 3 = 4 5 a_2=\dfrac25,\,a_3=\dfrac45 a2=52,a3=54 ，所以由全概率公式可得
P ( T 4 < T 1 ) = ∑ i = 1 4 P ( X 0 = i ) P ( T 4 < T 1 ∣ X 0 = i ) = 3 4 × 2 5 + 1 4 × 4 5 = 1 2 . P(T_4<T_1)=\sum_{i=1}^4P(X_0=i)P(T_4<T_1|X_0=i)=\frac34\times\frac25+\frac14\times\frac45=\frac12 \ . P(T4<T1)=i=1∑4P(X0=i)P(T4<T1∣X0=i)=43×52+41×54=21 .
(2) 所求时间为 E ( T 4 ) {\rm E}(T_4) E(T4) ，同理该值与到达 4 4 4 之后的过程没有关系，所以我们将 4 4 4 看成吸收态。定义 h i = E ( T 4 ∣ X 0 = i ) h_i={\rm E}(T_4|X_0=i) hi=E(T4∣X0=i) ，则 h 4 = 0 h_4=0 h4=0 ，由题意知以下方程组成立：
{ h 1 = 1 + 1 2 h 1 + 1 2 h 2 , h 2 = 1 + 1 3 h 1 + 1 3 h 2 + 1 3 h 3 , h 3 = 1 + 1 4 h 2 + 1 4 h 3 + 1 2 h 4 , \left\{ \begin{array}{l} h_1=1+\dfrac12h_1+\dfrac12h_2\ , \\ h_2=1+\dfrac13h_1+\dfrac13h_2+\dfrac13h_3\ , \\ h_3=1+\dfrac14h_2+\dfrac14h_3+\dfrac12h_4 \ , \end{array}\right. ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧h1=1+21h1+21h2 ,h2=1+31h1+31h2+31h3 ,h3=1+41h2+41h3+21h4 ,
解得 h 1 = 23 2 , h 2 = 19 2 , h 3 = 9 2 h_1=\dfrac{23}2,\,h_2=\dfrac{19}2,\,h_3=\dfrac92 h1=223,h2=219,h3=29 ，所以由全概率公式/全期望公式可得
E ( T 4 ) = ∑ i = 1 4 P ( X 0 = i ) E ( T 4 ∣ X 0 = i ) = 3 4 × 19 2 + 1 4 × 9 2 = 33 2 . {\rm E}(T_4)=\sum_{i=1}^4P(X_0=i){\rm E}(T_4|X_0=i)=\frac34\times\frac{19}2+\frac14\times\frac92=\frac{33}{2} \ . E(T4)=i=1∑4P(X0=i)E(T4∣X0=i)=43×219+41×29=233 .
【应用随机过程】04. 马尔可夫链的平稳分布相关推荐
- 机器学习笔记马尔可夫链蒙特卡洛方法(二)马尔可夫链与平稳分布
机器学习笔记之马尔可夫链蒙特卡洛方法--马尔可夫链与平稳分布 引言 回顾:蒙特卡洛方法 马尔可夫链与平稳分布 马尔可夫链 平稳分布 细致平衡 关于平稳分布的补充 马尔可夫链的本质 平稳分布的收敛性证明 ...
- 【随机过程】马尔可夫链(2)
[随机过程]马尔可夫链(2) 标签(空格分隔): [信号处理] 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:马尔科夫链是一个离散的马尔科夫过程,本文 ...
- 【随机过程】马尔可夫链(1)
[随机过程]马尔可夫链 标签(空格分隔): [信号处理] 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:马尔科夫链是一个离散的马尔科夫过程,本文主要对 ...
- Ax=0的非零解/马尔可夫链的平稳分布
最近在学习马尔可夫链,要求其平稳分布,即对给定P,求满足的,也就是要求解满足的. 看起来很简单的问题,把我折腾的够呛,数学基础实在太渣了......那么就一起来看看遇到了什么问题吧: 首先给定转化矩阵 ...
- 随机过程、马尔可夫链 详解
学校的概率统计课程没有讲到这一部分的内容,但是又比较重要,因此来填个小坑 PS:参考 概率论与数理统计 第五版 浙大 盛骤 谢式千 潘承毅.Blibili@FunInCode 一.随机过程 1.概念 ...
- 马尔可夫链：随机过程的数学建模及MATLAB实现
2023年9月数学建模国赛期间提供ABCDE题思路加Matlab代码,专栏链接(赛前一个月恢复源码199,欢迎大家订阅):http://t.csdn.cn/Um9Zd 目录 1. 马尔可夫链简介 1. ...
- 【视频】马尔可夫链蒙特卡罗方法MCMC原理与R语言实现|数据分享
原文链接:http://tecdat.cn/?p=2687 在贝叶斯方法中,马尔可夫链蒙特卡罗方法尤其神秘(点击文末"阅读原文"获取完整代码数据). 它们肯定是数学繁重且计算量大的 ...
- 复现经典：《统计学习方法》第19章 马尔可夫链蒙特卡罗法
第19章 马尔可夫链蒙特卡罗法 本文是李航老师的<统计学习方法>一书的代码复现.作者:黄海广 备注:代码都可以在github中下载.我将陆续将代码发布在公众号"机器学习初学者&q ...
- 对平稳马尔可夫链（stationary distribution of a Markov chain）的学习
首先介绍马尔可夫链的平稳分布: 给定一个马尔可夫链,其状态空间存在概率分布π=π(s),且转移矩阵和转移概率P=p(i,j),若满足π=πP(平衡方程),则称π是该马尔可夫链的平稳分布,或称为转移 ...
最新文章
- Python如何实现穷举搜索?
- Yolov5总结文档(理论、代码、实验结果)
- python进行探索性数据分析EDA（Exploratory Data Analysis）分析
- Jquery获得控件值的方法
- 大连关于领取软考2021年上半年合格证书的通知
- Python面向对象编程（二）
- 判断设备是否是iphone5 及对iphone5 屏幕的适应
- string.length_C.中的String.Length属性示例
- 【2017年第1期】基于征信数据观中国近10年产业间信贷资源的调整路径
- 计组之数据运算：8、c语言之强制类型转化、数据的存储与排序(大小端、字节对齐)
- 鸿蒙车载智慧屏评测,华为智慧屏S Pro体验：告诉你鸿蒙OS有多优秀？
- win7 oracle 冷恢复
- Ubuntu16.04安装Mono4.2.1 C#开发环境
- 31. Minimize compilation dependencies between files
- C/C++调用python,opencv+python
- 深入浅出SharePoint Designer 2010
- 如何安装.nupkg文件
- 介绍几款免费APP在线制作社开发生成工具
- Chrome 的小恐龙游戏，被我破解了
- Java语言HttpClient使用代理IP