【数理知识】《随机过程》方兆本老师-第3章-Markov 过程

第2章	回到目录	第4章

第3章-Markov 过程-《随机过程》方兆本

3.1 Markov 链的定义和例子
- 定义3.1 离散时间 Markov 链
- 定义3.2 平稳（/ 一步）转移概率
- 定理3.1
- 查普曼-科莫高洛夫 (Chapman-Kolmogorov) 方程
3.2 Markov 链的状态分类
- 3.2.1 互达性和周期性
- - 定义3.3 可达与互达
- 3.2.2 常返 (recurrent) 与瞬过 (transient)
3.3 Markov 链的极限定理与平稳分布
3.4 分支过程
3.5 连续时间 Markov 链
- 3.5.1 连续时间 Markov 链
- 3.5.2 纯生过程
3.6 生灭过程
- 3.6.1 生灭过程 (birth and death process)
- 3.6.2 Kolmogorov 向后向前微分方程

3.1 Markov 链的定义和例子

定义3.1 离散时间 Markov 链

如果对任何一列状态 i0,i1,⋯,in−1,i,ji_0, i_1, \cdots, i_{n-1}, i, ji0,i1,⋯,in−1,i,j ，及对任何 n≥0n\ge 0n≥0，随机过程 {Xn,n≥0}\{X_n, n\ge 0\}{Xn,n≥0} 满足 Markov 性质
P{Xn+1=j∣X0=i0,⋯,Xn−1=in−1,Xn=i}=P{Xn+1=j∣Xn=i}P\{ X_{n+1} = j | X_0 = i_0, \cdots, X_{n-1} = i_{n-1}, X_n = i \} \\ =P\{ X_{n+1}=j | X_n=i \}P{Xn+1=j∣X0=i0,⋯,Xn−1=in−1,Xn=i}=P{Xn+1=j∣Xn=i}

则称 XnX_nXn 为离散时间 Markov 链。

定义3.2 平稳（/ 一步）转移概率

设 XnX_nXn 为一离散时间 Markov 链。给定 XnX_nXn 在状态 iii 时，Xn+1X_{n+1}Xn+1 处于状态 jjj 的条件概率 P{Xn+1=j∣Xn=i}P\{ X_{n+1}=j | X_n=i \}P{Xn+1=j∣Xn=i} 称为 Markov 链的一步转移概率，记作 Pijn,n+1P_{ij}^{n,n+1}Pijn,n+1。当这一概率与 nnn 无关时称该 Markov 链有平稳转移概率，并记为 PijP_{ij}Pij。

定理3.1

Markov 链的 nnn 步转移概率矩阵满足：
Pij(n)=∑k=0∞PikPkj(n−1)，P^{(n)}_{ij} = \sum_{k=0}^{\infty} P_{ik} P_{kj}^{(n-1)}，Pij(n)=k=0∑∞PikPkj(n−1)，

在上式中我们约定 Pii(0)=1P^{(0)}_{ii} = 1Pii(0)=1，当 j≠ij\ne ij=i 时 Pij(0)=0P_{ij}^{(0)} = 0Pij(0)=0。

查普曼-科莫高洛夫 (Chapman-Kolmogorov) 方程

Pij(n+m)=∑k=0∞Pik(n)Pkj(m)P_{ij}^{(n+m)} = \sum_{k=0}^{\infty} P^{(n)}_{ik} P^{(m)}_{kj}Pij(n+m)=k=0∑∞Pik(n)Pkj(m)

3.2 Markov 链的状态分类

3.2.1 互达性和周期性

定义3.3 可达与互达

如果对某一 n≥0n\ge 0n≥0，有 Pij(n)>0P_{ij}^{(n)} > 0Pij(n)>0，则称状态 jjj 是从状态 iii 可达的 (accessible)，记作 i→ji\rightarrow ji→j。它表示从状态 iii 经过有限步的转移可以达到状态 jjj。两个互相可达的状态 iii 和 jjj 则称为互达的 (communicate)，记作 i↔ji \leftrightarrow ji↔j。

3.2.2 常返 (recurrent) 与瞬过 (transient)

3.3 Markov 链的极限定理与平稳分布

3.4 分支过程

3.5 连续时间 Markov 链

3.5.1 连续时间 Markov 链

3.5.2 纯生过程

3.6 生灭过程

3.6.1 生灭过程 (birth and death process)

3.6.2 Kolmogorov 向后向前微分方程