文章目录

随机过程 Markov 链（上）
- 基本概念
- - n 步转移概率 C-K 方程
- 状态的分类及性质

随机过程 Markov 链（上）

基本概念

有一类过程，具备所谓的 ”无后效性“（Markov 性），即要确定过程将来的状态，只要知道它此刻的情况就足够了，并不需要对它以往状况的认识，这类过程称为 Markov 过程。这里我们将介绍 Markov 过程最简单的两种类型：离散时间的 Markov 链和连续时间的 Markov 链。

Markov 链：随机过程 { X n , n = 0 , 1 , 2 ⋯ } \{X_n,\,n=0,\,1,\,2\cdots\} {Xn,n=0,1,2⋯} 称为 Markov 链，若它只取有限个或可列个值（一般以自然数集来表示），并且对任意的 n ≥ 0 n\geq 0 n≥0 ，及任意状态 i , j , i 0 , i 1 , ⋯ , i n − 1 i,\,j,\,i_0,\,i_1,\,\cdots,\,i_{n-1} i,j,i0,i1,⋯,in−1 ，有：
P ( X n + 1 = j ∣ X n = i n , X n − 1 = i n − 1 , ⋯ , X 0 = i 0 ) = P ( X n + 1 = j ∣ X n = i n ) P(X_{n+1}=j\,|\,X_{n}=i_{n},\,X_{n-1}=i_{n-1},\,\cdots,\,X_0=i_0) \\ =P(X_{n+1}=j\,|\,X_{n}=i_{n}) P(Xn+1=j∣Xn=in,Xn−1=in−1,⋯,X0=i0)=P(Xn+1=j∣Xn=in)
称 { 0 , 1 , 2 , ⋯ } \{0,\,1,\,2,\,\cdots\} {0,1,2,⋯} 为该过程的状态空间，将来的状态 X n + 1 X_{n+1} Xn+1 只与当前的状态 X i X_i Xi 有关

转移概率：称条件概率 P ( X n + 1 = j ∣ X n = i n ) P(X_{n+1}=j\,|\,X_{n}=i_{n}) P(Xn+1=j∣Xn=in) 为 Markov 链的一步转移概率，简称转移概率，记为 p 0 p_0 p0 ；

时齐 Markov 链：当 Markov 链的转移概率 p i j = P ( X n + 1 = j ∣ X n = i n ) p_{ij}=P(X_{n+1}=j\,|\,X_{n}=i_{n}) pij=P(Xn+1=j∣Xn=in) 只与 i i i 和 j j j 有关，而与 n n n 无关时，称为时齐 Markov 链，我们后边讨论的都是时齐 Markov 链，简称为 Markov 链。

转移矩阵：当 Markov 的状态有限时，称为有限链，否则称为无限链；但不论状态有限还是无限，我们都可以将转移概率写成矩阵的形式，称为转移概率矩阵，一般简称为转移矩阵：
P = p i j = [ p 00 p 01 p 02 ⋯ p 10 p 11 p 12 ⋯ ⋮ ⋮ ⋮ p i 0 p i 1 p i 2 ⋯ ⋮ ⋮ ⋮ ] \boldsymbol{P}=p_{ij}=\begin{bmatrix} p_{00} & p_{01} & p_{02} & \cdots \\ p_{10} & p_{11} & p_{12} & \cdots \\ \vdots & \vdots & \vdots & \\ p_{i0} & p_{i1} & p_{i2} & \cdots \\ \vdots & \vdots & \vdots & \\ \end{bmatrix} P=pij= p00p10⋮pi0⋮p01p11⋮pi1⋮p02p12⋮pi2⋮⋯⋯⋯

p i j ≥ 0 p_{ij}\ge 0 pij≥0 ， ∀ i , j ∈ S \forall i,\,j\in S ∀i,j∈S ；
∑ j ∈ S p i j = 1 \sum\limits_{j\in S}p_{ij}=1 j∈S∑pij=1 ，每一行的和为 1，即每个状态转移到其他状态（包括自己）的概率之和为 1；

随机矩阵：具有以上两条性质的矩阵称为随机矩阵

下面是几个经典的 Markov 链的例子：

例：（带吸收壁的随机游动）系统状态为 0 ∼ n 0\sim n 0∼n ，代表赌徒在赌博期间所拥有的金钱数量，当他输光或者获得金钱为 n n n 时，赌博停止，否则他将继续赌博。设每次赌博赌徒将以 p p p 的概率获得一个金钱，以 q = 1 − p q=1-p q=1−p 的概率失去一个金钱，则转移矩阵为：
P = [ 1 0 0 0 ⋯ 0 0 0 q 0 p 0 ⋯ 0 0 0 0 q 0 p ⋯ 0 0 0 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 0 0 0 ⋯ q 0 p 0 0 0 0 ⋯ 0 0 1 ] ( n + 1 ) × ( n + 1 ) \boldsymbol{P}=\begin{bmatrix} 1 & 0 & 0 & 0 & \cdots & 0 & 0 & 0 \\ q & 0 & p & 0 & \cdots & 0 & 0 & 0 \\ 0 & q & 0 & p & \cdots & 0 & 0 & 0 \\ \vdots & \vdots &\vdots & \vdots & & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & \cdots & q & 0 & p \\ 0 & 0 & 0 & 0 & \cdots & 0 & 0 & 1 \\ \end{bmatrix}_{(n+1)\times(n+1)} P= 1q0⋮0000q⋮000p0⋮0000p⋮00⋯⋯⋯⋯⋯000⋮q0000⋮00000⋮p1 (n+1)×(n+1)
例：（带反射壁的随机游动）在上例的基础上，若赌徒输光以后就立刻获得一个金钱的赞助，就好像在一个一侧有壁的直线上做随机游动，则转移矩阵为：
P = [ 0 1 0 0 ⋯ 0 0 0 q 0 p 0 ⋯ 0 0 0 0 q 0 p ⋯ 0 0 0 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 0 0 0 0 ⋯ q 0 p 0 0 0 0 ⋯ 0 0 1 ] ( n + 1 ) × ( n + 1 ) \boldsymbol{P}=\begin{bmatrix} 0 & 1 & 0 & 0 & \cdots & 0 & 0 & 0 \\ q & 0 & p & 0 & \cdots & 0 & 0 & 0 \\ 0 & q & 0 & p & \cdots & 0 & 0 & 0 \\ \vdots & \vdots &\vdots & \vdots & & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & \cdots & q & 0 & p \\ 0 & 0 & 0 & 0 & \cdots & 0 & 0 & 1 \\ \end{bmatrix}_{(n+1)\times(n+1)} P= 0q0⋮0010q⋮000p0⋮0000p⋮00⋯⋯⋯⋯⋯000⋮q0000⋮00000⋮p1 (n+1)×(n+1)
例：（自由随机游动）设一个球在全直线上做无限制的随机游动，它的状态为 0 0 0 ， ± 1 \pm 1 ±1 ， ± 2 \pm 2 ±2 ， ⋯ \cdots ⋯ ，则它仍是一个 Markov 链，并且转移矩阵为：
P = [ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋯ q 0 p 0 ⋯ 0 0 0 0 ⋯ ⋯ 0 q 0 p ⋯ 0 0 0 0 ⋯ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋯ 0 0 0 0 ⋯ q 0 p 0 ⋯ ⋯ 0 0 0 0 ⋯ 0 q 0 p ⋯ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ] \boldsymbol{P}=\begin{bmatrix} & \vdots & \vdots &\vdots & \vdots & & \vdots & \vdots & \vdots & \vdots \\ \cdots & q & 0 & p & 0 & \cdots & 0 & 0 & 0 & 0 & \cdots \\ \cdots & 0 & q & 0 & p & \cdots & 0 & 0 & 0 & 0 & \cdots \\ & \vdots & \vdots &\vdots & \vdots & & \vdots & \vdots & \vdots & \vdots & \\ \cdots & 0 & 0 & 0 & 0 & \cdots & q & 0 & p & 0 & \cdots \\ \cdots & 0 & 0 & 0 & 0 & \cdots & 0 & q & 0 & p & \cdots \\ & \vdots & \vdots &\vdots & \vdots & & \vdots & \vdots & \vdots & \vdots & \\ \end{bmatrix} P= ⋯⋯⋯⋯⋮q0⋮00⋮⋮0q⋮00⋮⋮p0⋮00⋮⋮0p⋮00⋮⋯⋯⋯⋯⋮00⋮q0⋮⋮00⋮0q⋮⋮00⋮p0⋮⋮00⋮0p⋮⋯⋯⋯⋯
下面是几个”嵌入 Markov 链“ 的例子，在以下情况中模型的 Markov 性不明显，感觉都是一些比较怪的量

例：（ ( s , S ) (s,\,S) (s,S) 订货策略）设某商店采用 ( s , S ) (s,\,S) (s,S) 订货策略，每天早上检查某商品的剩余量，设为 x x x ，则订购量为：（保证每天开门营业时存货量在 [ s , S ] [s,\,S] [s,S] 范围内）
{ 0 x ≥ s S − x x < s \left\{ \begin{array}{ll} 0 & x\geq s \\ S-x & x\lt s \end{array} \right. {0S−xx≥sx<s
设订货、进货不需要时间，每天的需求量为 Y n Y_n Yn 独立同分布且 P ( Y n = j ) = a j P(Y_n=j)=a_j P(Yn=j)=aj （ j = 0 , 1 , 2 , ⋯ j=0,\,1,\,2,\,\cdots j=0,1,2,⋯），现在我们要从上述问题中找到一个 Markov 链

解：设 X n X_n Xn 为第 n n n 天结束时的存货量，则：
X n + 1 = { X n − Y n X n ≥ s S − Y n X n < s X_{n+1}=\left\{ \begin{array}{ll} X_n-Y_n & X_n \ge s \\ S - Y_n & X_n \lt s \end{array} \right. Xn+1={Xn−YnS−YnXn≥sXn<s
则 X n X_n Xn 构成 Markov 链，转移概率为：
p i j = { a i − j i ≥ s a S − j i < s p_{ij}=\left\{ \begin{array}{ll} a_{i-j} & i \geq s \\ a_{S-j} & i \lt s \end{array} \right. pij={ai−jaS−ji≥si<s
例：（ M / G / 1 M/G/1 M/G/1 排队系统）假设顾客按照参数为 λ \lambda λ 的 Poisson 过程来到一个只有一个服务员的服务站：

若服务员空闲，则立马能得到服务
若服务员忙碌，则顾客排队等待直到轮到他

设每名顾客接受服务的时间是独立的随机变量，分布为 G G G ，而且与到达过程独立。这个系统被称为 M / G / 1 M/G/1 M/G/1 排队系统，其中 M M M 代表顾客来的时间间隔服从指数分布。现在我们要从上述问题中找到一个 Markov 链

解：若以 X ( t ) X(t) X(t) 表示时刻 t t t 时系统中顾客的数目，则 X ( t ) X(t) X(t) 并不具备 Markov 性，因为已知此时的状态，要推断下一时刻的状态，在不知道 G G G 是否具有无记忆性的情况下，需要知道当前正在接受服务的顾客已经接受了多长时间的服务，所以不具备 Markov 性。

那我们可以不考虑正在接受服务的顾客，令 X n X_n Xn 表示第 n n n 位顾客走后剩下的顾客数， n ≥ 1 n\geq 1 n≥1 。再令 Y n Y_n Yn 为第 n + 1 n+1 n+1 位顾客接受服务期间到来的顾客数，则：
X n + 1 = { X n − 1 + Y n X n > 0 Y n X n = 0 X_{n+1}=\left\{ \begin{array}{ll} X_n-1+Y_n & X_n\gt 0 \\ Y_n & X_n=0 \end{array} \right. Xn+1={Xn−1+YnYnXn>0Xn=0
事实上，因为 Y n Y_n Yn （ n ≥ 1 n\ge 1 n≥1）代表的是在不相重叠的服务时间内来到的人数，来到的过程又是 Poisson 过程，所以 Y n Y_n Yn 是相互独立的，并且是同分布的：
P ( Y n = j ) = ∫ 0 ∞ e − λ x ( λ x ) j j ! d G ( x ) j ≥ 0 P(Y_n=j)=\int_0^{\infty}e^{-\lambda x}\frac{(\lambda x)^j}{j!}\,dG(x) \quad j\geq 0 P(Yn=j)=∫0∞e−λxj!(λx)jdG(x)j≥0
因此 X n X_n Xn 是 Markov 链，转移概率为：
{ p 0 j = ∫ 0 ∞ e − λ x ( λ x ) j j ! d G ( x ) j ≥ 0 p i j = ∫ 0 ∞ e − λ x ( λ x ) j − i + 1 ( j − i + 1 ) ! d G ( x ) j ≥ i − 1 ; i ≥ 1 p i j = 0 e l s e \left\{ \begin{array}{ll} p_{0j}=\int_0^{\infty}e^{-\lambda x}\frac{(\lambda x)^j}{j!}\,dG(x) & j\geq 0\\ p_{ij}=\int_0^{\infty}e^{-\lambda x}\frac{(\lambda x)^{j-i+1}}{(j-i+1)!}\,dG(x) & j\geq i - 1;\, i\geq 1 \\ p_{ij}=0 & else \end{array} \right. ⎩ ⎨ ⎧p0j=∫0∞e−λxj!(λx)jdG(x)pij=∫0∞e−λx(j−i+1)!(λx)j−i+1dG(x)pij=0j≥0j≥i−1;i≥1else

n 步转移概率 C-K 方程

n n n 步转移概率：称条件概率：
p i j ( n ) = P ( X m + n = j ∣ X m = i ) p_{ij}^{(n)}=P(X_{m+n}=j\,|\,X_{m}=i) pij(n)=P(Xm+n=j∣Xm=i)
为 Markov 链的 n n n 步转移概率，相应地称 P ( n ) = ( p i j ( n ) ) \boldsymbol{P}^{(n)}=(p_{ij}^{(n)}) P(n)=(pij(n)) 为 n n n 步转移矩阵；对于 n = 0 n=0 n=0 ，规定：
p i j ( 0 ) = { 0 i ≠ j 1 i = j p_{ij}^{(0)}=\left\{ \begin{array}{ll} 0 & i\not=j \\ 1 & i=j \end{array} \right. pij(0)={01i=ji=j
Chapman-Kolmogorov 方程：对一起 n , m ≥ 0 n,\,m\geq 0 n,m≥0 ， i , j ∈ S i,\,j\in S i,j∈S ，有：

p i j m + n = ∑ k ∈ S p i k ( m ) p k j ( n ) p_{ij}^{m+n}=\sum\limits_{k\in S}p_{ik}^{(m)}p_{kj}^{(n)} pijm+n=k∈S∑pik(m)pkj(n) ；
P ( n ) = P P ( n − 1 ) = ⋯ = P n P^{(n)}=PP^{(n-1)}=\cdots=P^n P(n)=PP(n−1)=⋯=Pn ；

感觉显然成立欸hhh，有点像是 Bellman-Floyd 算法，第二个式子就是第一个式子的矩阵形式

注意： p i j ( n ) p^{(n)}_{ij} pij(n) 理解成从状态 i i i 转移 n n n 步正好转移到状态 j j j 的概率，而对中间的 n − 1 n-1 n−1 步转移没有要求

例：甲乙两人进行某种游戏，设每局甲胜利的概率为 p p p ，乙胜利的概率为 q q q ，平局的概率为 r r r ，胜者加一分，负者减一分，平局则不加不减，且当其中有一人获得两分时结束比赛，以 X n X_n Xn 代表比赛至 n n n 局时甲获得的分数，则 X n X_n Xn 为时齐 Markov 链。求甲在获得一分的情况下，不超过两局可结束比赛的概率。

解： X n X_n Xn 的一步转移矩阵为：
P = [ 1 0 0 0 0 q r p 0 0 0 q r p 0 0 0 q r p 0 0 0 0 1 ] \boldsymbol{P}=\begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\ q & r & p & 0 & 0 \\ 0 & q & r & p & 0 \\ 0 & 0 & q & r & p \\ 0 & 0 & 0 & 0 & 1 \\ \end{bmatrix} P= 1q0000rq000prq000pr0000p1
其中每一行分别代表获得 -2、-1、0、1、2 分时的转移概率；两步转移矩阵为：
P 2 = [ 1 0 0 0 0 q + r q r 2 + p q 2 p r p 2 0 q 2 q + r q r 2 + p q 2 p r p 2 0 q 2 q + r q r 2 + p q 2 p r 0 0 0 0 1 ] P^2=\begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\ q+rq & r^2+pq & 2pr & p^2 & 0 \\ q^2 & q+rq & r^2+pq & 2pr & p^2 \\ 0 & q^2 & q+rq & r^2+pq & 2pr\\ 0 & 0 & 0 & 0 & 1 \\ \end{bmatrix} P2= 1q+rqq2000r2+pqq+rqq2002prr2+pqq+rq00p22prr2+pq000p22pr1
故甲在获得一分的情况下，不超过两局可结束比赛的概率为：
p 1 , 2 ( 2 ) + p 1 , − 2 ( 2 ) = p + p r p^{(2)}_{1,\,2}+p^{(2)}_{1,\,-2}=p+pr p1,2(2)+p1,−2(2)=p+pr
注意这里比较特殊，虽然甲再来一局就有可能得到 2 分，但是得到两分后转移概率只有到 2 为 1，因此 p 1 , 2 ( 2 ) p^{(2)}_{1,\,2} p1,2(2) 是包括了一局甲就获胜的概率；但是并不意味着 p 1 , 2 ( 2 ) p^{(2)}_{1,\,2} p1,2(2) 就包括了所有两步以内的转移概率，只是这里比较特殊。

例：（广告效益的推算）某种啤酒 A A A 的广告改变了广告方式，经调查发现四种啤酒的顾客每两个月的平均转换率如下：（假设市场中只有这四种啤酒）：
A → A ( 0.95 ) B ( 0.02 ) C ( 0.02 ) D ( 0.01 ) B → A ( 0.30 ) B ( 0.60 ) C ( 0.06 ) D ( 0.04 ) C → A ( 0.20 ) B ( 0.10 ) C ( 0.70 ) D ( 0.00 ) D → A ( 0.20 ) B ( 0.20 ) C ( 0.10 ) D ( 0.50 ) \begin{array}{c} A\to A(0.95) \quad B(0.02) \quad C(0.02) \quad D(0.01) \\ B\to A(0.30) \quad B(0.60) \quad C(0.06) \quad D(0.04) \\ C\to A(0.20) \quad B(0.10) \quad C(0.70) \quad D(0.00) \\ D\to A(0.20) \quad B(0.20) \quad C(0.10) \quad D(0.50) \\ \end{array} A→A(0.95)B(0.02)C(0.02)D(0.01)B→A(0.30)B(0.60)C(0.06)D(0.04)C→A(0.20)B(0.10)C(0.70)D(0.00)D→A(0.20)B(0.20)C(0.10)D(0.50)
目前购买 A A A 、 B B B 、 C C C 和 D D D 四种啤酒的顾客的分布为： ( 25 % , 30 % , 35 % , 10 % ) (25\%,\,30\%,\,35\%,\,10\%) (25%,30%,35%,10%) ，试求半年以后啤酒 A A A 的市场份额。

解：显然一步转移矩阵就是：
P = [ 0.95 0.02 0.02 0.01 0.30 0.60 0.06 0.04 0.20 0.10 0.70 0.00 0.20 0.20 0.10 0.50 ] P=\begin{bmatrix} 0.95 & 0.02 & 0.02 & 0.01 \\ 0.30 & 0.60 & 0.06 & 0.04 \\ 0.20 & 0.10 & 0.70 & 0.00 \\ 0.20 & 0.20 & 0.10 & 0.50 \\ \end{bmatrix} P= 0.950.300.200.200.020.600.100.200.020.060.700.100.010.040.000.50
半年就是三步转移矩阵：
P 3 = [ 0.8894 0.0458 0.0466 0.01820 0.60175 0.2559 0.0988 0.04455 0.4834 0.1388 0.36584 0.01196 0.5009 0.2134 0.14264 0.14306 ] P^3=\begin{bmatrix} 0.8894 & 0.0458 & 0.0466 & 0.01820 \\ 0.60175 & 0.2559 & 0.0988 & 0.04455 \\ 0.4834 & 0.1388 & 0.36584 & 0.01196 \\ 0.5009 & 0.2134 & 0.14264 & 0.14306 \\ \end{bmatrix} P3= 0.88940.601750.48340.50090.04580.25590.13880.21340.04660.09880.365840.142640.018200.044550.011960.14306
则半年以后 A A A 的市场占有率变为：
v = [ 25 % 30 % 35 % 10 % ] [ 0.8894 0.60175 0.4834 0.5009 ] ≈ 0.624 v=\begin{bmatrix}25\% & \,30\% & \,35\% & \,10\%\end{bmatrix}\begin{bmatrix}0.8894 \\ 0.60175 \\ 0.4834 \\ 0.5009\end{bmatrix}\approx 0.624 v=[25%30%35%10%] 0.88940.601750.48340.5009 ≈0.624

状态的分类及性质

我们首先讨论 Markov 链中各个状态的关系，然后以这些关系将状态分类，最后研究他们的性质。

可达/互通：若存在 n ≥ 0 n\geq 0 n≥0 使得 p i , j ( n ) > 0 p^{(n)}_{i,j}\gt 0 pi,j(n)>0 ，则称状态 i i i 可达状态 j j j ，记为 i → j i\to j i→j ；若 i → j i\to j i→j 且 j → i j\to i j→i ，则称 i i i 和 j j j 互通，记为 i ↔ j i\leftrightarrow j i↔j

Th：互通是一种等价关系，即满足：

自反性： i ↔ i i\leftrightarrow i i↔i ；
对称性：若 i ↔ j i \leftrightarrow j i↔j ，则 j ↔ i j \leftrightarrow i j↔i ；
传递性：若 i ↔ j i\leftrightarrow j i↔j 且 j ↔ k j \leftrightarrow k j↔k ，则 i ↔ k i \leftrightarrow k i↔k ；

自反、对称显然成立，传递性只需要使用 C-K 方程即可得到。

我们按照互通这个等价关系分类，则同一状态不能同时属于两个类，并且同一类中的状态都是互通的。

可约：若 Markov 链只存在一个类，就称它是不可约的；否则称为可约的。

周期：若集合 { n : n ≥ 1 , p i i ( n ) > 0 } \{n:\,n\geq 1,\,p_{ii}^{(n)}\gt0\} {n:n≥1,pii(n)>0} 非空，则称它的最大公约数 d d d 为状态 i i i 的周期。若 d > 1 d\gt 1 d>1 ，则称 i i i 是周期的；若 d = 1 d=1 d=1 ，则称 i i i 是非周期的。若该集合为空集，则称 i i i 的周期无穷大。

注意：即使 d d d 是有限的，也不代表对任意 m ∈ N + m\in N^+ m∈N+ 都有 p i i ( m d ) > 0 p_{ii}^{(md)}\gt 0 pii(md)>0 ，跟格点分布并不是在所有 n d nd nd 上取值都不为 0 一样。

例：以下 Markov 过程，对于状态 1 1 1 来说，经过 4 4 4 ， 6 6 6 ， 8 8 8 ， 10 10 10 ， ⋯ \cdots ⋯ 步可以回到状态 1 1 1 ，周期为 d = 2 d=2 d=2 ，虽然经过两步回不来，但是我们仍然说周期为 2 2 2 ：

Th：若状态 i i i 和 j j j 属于同一类，则 d ( i ) = d ( j ) d(i)=d(j) d(i)=d(j) ；

证明：由于 i i i 和 j j j 互通，则存在 m m m ， n n n 使得 p i j ( m ) > 0 p_{ij}^{(m)}\gt 0 pij(m)>0 和 p j i ( n ) > 0 p_{ji}^{(n)}\gt 0 pji(n)>0 ；则 p i i ( m + n ) = p i j ( m ) p j i ( n ) > 0 p_{ii}^{(m+n)}=p_{ij}^{(m)}p_{ji}^{(n)}\gt 0 pii(m+n)=pij(m)pji(n)>0 ；又若 i i i ， j j j 的周期存在，即 d ( i ) , d ( j ) < ∞ d(i),\,d(j)\lt \infty d(i),d(j)<∞ ，则： p i i ( m + n + d ( j ) ) = p i j ( m ) p j j ( d ( j ) ) p j i ( n ) > 0 p_{ii}^{(m+n+d(j))}=p_{ij}^{(m)}p_{jj}^{(d(j))}p_{ji}^{(n)}\gt 0 pii(m+n+d(j))=pij(m)pjj(d(j))pji(n)>0 。由此可以得到 d ( i ) d(i) d(i) 同时整除 m + n m+n m+n 和 m + n + d ( j ) m+n+d(j) m+n+d(j) ，因此 d ( i ) d(i) d(i) 整除 d ( j ) d(j) d(j) ；同理可以得到 d ( j ) d(j) d(j) 整除 d ( i ) d(i) d(i) ，故 d ( i ) = d ( j ) d(i)=d(j) d(i)=d(j) 。

Def：对于状态 i i i 和 j j j ，以首达概率 f i j ( n ) f_{ij}^{(n)} fij(n) 记为从 i i i 出发经过 n n n 步正好第一次到达 j j j 的概率，有：
f i j ( 0 ) = δ i j f i j ( n ) = P ( X n = j , X k ≠ j , k = 1 , 2 , ⋯ , n − 1 ∣ X 0 = i ) , n ≥ 1 \begin{align} f_{ij}^{(0)}=&\,\delta_{ij} \\ f_{ij}^{(n)}=&\,P(X_n=j,\,X_k\not=j,\,k=1,2,\cdots,n-1\,|\,X_0=i),\,n\geq 1 \end{align} fij(0)=fij(n)=δijP(Xn=j,Xk=j,k=1,2,⋯,n−1∣X0=i),n≥1
令 f i j = ∑ n = 1 ∞ f i j ( n ) f_{ij}=\sum\limits_{n=1}^{\infty}f_{ij}^{(n)} fij=n=1∑∞fij(n) ，若 f j j = 1 f_{jj}=1 fjj=1 ，则称状态 j j j 为常返状态；若 f j j < 1 f_{jj}\lt 1 fjj<1 ，则称 j j j 为非常返状态或瞬过状态；

容易看出来集合 A n = { X n = j , X k ≠ j , k = 1 , 2 , ⋯ , n − 1 ∣ X 0 = i } A_n=\{X_n=j,\,X_k\not=j,\,k=1,2,\cdots,n-1\,|\,X_0=i\} An={Xn=j,Xk=j,k=1,2,⋯,n−1∣X0=i} 在 n n n 不同时时不相交的，并且 ⋃ n = 1 ∞ A n \bigcup\limits_{n=1}^{\infty}A_n n=1⋃∞An 表示总有一个 n n n 使得过程从 i i i 经过 n n n 步以后可到达 j j j ，所以：
P ( ⋃ n = 1 ∞ A n ) = ∑ n = 1 ∞ P ( A n ) = ∑ n = 1 ∞ f i j ( n ) = f i j P(\bigcup\limits_{n=1}^{\infty}A_n)=\sum\limits_{n=1}^{\infty}P(A_n)=\sum\limits_{n=1}^{\infty}f_{ij}^{(n)}=f_{ij} P(n=1⋃∞An)=n=1∑∞P(An)=n=1∑∞fij(n)=fij
即==首达概率 f i j f_{ij} fij 表示从 i i i 出发，在有限步内可以到达 j j j 的概率。==所以，当 i i i 为常返状态时，从 i i i 出发，在有限步之内，过程将以概率 1 1 1 重新返回 i i i ；而当 i i i 为非常返状态时，过程以概率 1 − f i i > 0 1-f_{ii}\gt 0 1−fii>0 不再回到 i i i ，换而言之，从 i i i 滑过了。

对于常返状态 i i i ，定义：
μ i = ∑ n = 1 ∞ n f i i ( n ) \mu_i=\sum\limits_{n=1}^{\infty}nf_{ii}^{(n)} μi=n=1∑∞nfii(n)
μ i \mu_i μi 表示从 i i i 出发再返回 i i i 所需的平均步数（时间）

Def：对于常返状态 i i i ，若 μ i < ∞ \mu_i\lt \infty μi<∞ ，则称 i i i 为正常返状态；若 μ i = ∞ \mu_i=\infty μi=∞ ，则称 i i i 为零常返状态。特别地：

若 i i i 为正常返状态，且是非周期的，则称为遍历状态；
若 i i i 为遍历状态，且 f i i ( 1 ) = 1 f_{ii}^{(1)}=1 fii(1)=1 ，则称 i i i 为吸收状态，此时显然 μ i = 1 \mu_i=1 μi=1 。

例：设某 Markov 链的状态空间为 S = { 1 , 2 , 3 , 4 } S=\{1,\,2,\,3,\,4\} S={1,2,3,4} ，其一步转移概率矩阵为：
P = [ 1 2 1 2 0 0 1 0 0 0 0 1 3 2 3 0 1 2 0 1 2 0 ] P=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} & 0 & 0 \\ 1 & 0 & 0 & 0 \\ 0 & \frac{1}{3} & \frac{2}{3} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 \end{bmatrix} P= 2110212103100032210000
试将状态进行分类。

解：没有状态可以转移到状态 4，因此 f 44 = 0 f_{44}=0 f44=0 ，4 是非常返状态；状态 3 只会转移到 2 和自己，所以 f 33 ( 1 ) = 2 3 f_{33}^{(1)}=\frac{2}{3} f33(1)=32 ，而 f 33 ( n ) = 0 f_{33}^{(n)}=0 f33(n)=0 （ n ≥ 2 n\geq 2 n≥2），所以 3 是非常返状态；

1 和 2 都是常返状态，因为：
f 11 = 1 2 + 1 2 + 0 + ⋯ + 0 + ⋯ = 1 f 22 = 0 + 1 2 + 1 2 2 + ⋯ = 1 \begin{align} f_{11}=&\,\frac{1}{2}+\frac{1}{2}+0+\cdots+0+\cdots=1 \\ f_{22}=&\,0+\frac{1}{2}+\frac{1}{2^2}+\cdots=1 \end{align} f11=f22=21+21+0+⋯+0+⋯=10+21+221+⋯=1
而他们的期望为：
μ 1 = 1 × 1 2 + 2 × 1 2 + 0 + ⋯ + 0 + ⋯ = 3 2 < ∞ μ 2 = 1 × 0 + 2 × 1 2 + 3 × 1 2 2 + ⋯ = 3 < ∞ \begin{align} \mu_{1}=&\,1\times\frac{1}{2}+2\times\frac{1}{2}+0+\cdots+0+\cdots=\frac{3}{2}\lt \infty \\ \mu_{2}=&\,1\times0+2\times\frac{1}{2}+3\times\frac{1}{2^2}+\cdots=3 \lt \infty \end{align} μ1=μ2=1×21+2×21+0+⋯+0+⋯=23<∞1×0+2×21+3×221+⋯=3<∞
因此他们都是正常返状态，且周期为 1，故都为遍历状态。

Th：同属于一类的状态同为常返状态或者非常返状态；并且当为常返状态时，又同为正常返状态或零常返状态。

Th：转移概率 p i j ( n ) p_{ij}^{(n)} pij(n) 和首达概率 f i j ( n ) f_{ij}^{(n)} fij(n) 的关系为：（ 1 ≤ n < ∞ 1\leq n \lt \infty 1≤n<∞）
p i j ( n ) = ∑ l = 1 n f i j ( l ) p j j ( n − l ) p_{ij}^{(n)}=\sum\limits_{l=1}^{n}f_{ij}^{(l)}p_{jj}^{(n-l)} pij(n)=l=1∑nfij(l)pjj(n−l)
证明：使用数学归纳法：

当 n = 1 n=1 n=1 时，显然 p i j ( 1 ) = f i j ( 1 ) p_{ij}^{(1)}=f_{ij}^{(1)} pij(1)=fij(1) ；
假设对 n − 1 n-1 n−1 ， p i j ( n − 1 ) = ∑ l = 1 n − 1 f i j ( l ) p j j ( n − 1 − l ) p_{ij}^{(n-1)}=\sum\limits_{l=1}^{n-1}f_{ij}^{(l)}p_{jj}^{(n-1-l)} pij(n−1)=l=1∑n−1fij(l)pjj(n−1−l) 成立；那么对于 n n n ，使用 C-K 方程，有：（中间有一步交换求和次序的比较关键）

p i j ( n ) = ∑ k ∈ S p i k ( 1 ) p k j ( n − 1 ) = p i j ( 1 ) p j j ( n − 1 ) + ∑ k ∈ S , k ≠ j p i k ( 1 ) p k j ( n − 1 ) = f i j ( 1 ) p j j ( n − 1 ) + ∑ k ∈ S , k ≠ j f i k ( 1 ) [ ∑ l = 1 n − 1 f k j ( l ) p j j ( n − 1 − l ) ] = f i j ( 1 ) p j j ( n − 1 ) + ∑ l = 1 n − 1 [ ∑ k ∈ S , k ≠ j ( f i k ( 1 ) f k j ( l ) ) p j j ( n − 1 − l ) ] = f i j ( 1 ) p j j ( n − 1 ) + ∑ l = 1 n − 1 ( f i j ( l + 1 ) p j j ( n − 1 − l ) ) = f i j ( 1 ) p j j ( n − 1 ) + ∑ l = 2 n ( f i j ( l ) p j j ( n − l ) ) = ∑ l = 1 n ( f i j ( l ) p j j ( n − l ) ) \begin{align} p_{ij}^{(n)}=&\,\sum\limits_{k\in S}p_{ik}^{(1)}p_{kj}^{(n-1)}=p_{ij}^{(1)}p_{jj}^{(n-1)}+\sum\limits_{k\in S,\,k\not=j}p_{ik}^{(1)}p_{kj}^{(n-1)} \\ =&\,f_{ij}^{(1)}p_{jj}^{(n-1)}+\sum\limits_{k\in S,\,k\not=j}f_{ik}^{(1)}\left[ \sum\limits_{l=1}^{n-1}f_{kj}^{(l)}p_{jj}^{(n-1-l)} \right] \\ =&\, f_{ij}^{(1)}p_{jj}^{(n-1)}+\sum\limits_{l=1}^{n-1}\left[ \sum\limits_{k\in S,\,k\not=j}\left(f_{ik}^{(1)}f_{kj}^{(l)}\right)p_{jj}^{(n-1-l)} \right] \\ =&\, f_{ij}^{(1)}p_{jj}^{(n-1)}+\sum\limits_{l=1}^{n-1} \left( f_{ij}^{(l+1)}p_{jj}^{(n-1-l)} \right) \\ =&\, f_{ij}^{(1)}p_{jj}^{(n-1)}+\sum\limits_{l=2}^{n} \left( f_{ij}^{(l)}p_{jj}^{(n-l)} \right) \\ =&\,\sum\limits_{l=1}^{n} \left( f_{ij}^{(l)}p_{jj}^{(n-l)} \right) \end{align} pij(n)======k∈S∑pik(1)pkj(n−1)=pij(1)pjj(n−1)+k∈S,k=j∑pik(1)pkj(n−1)fij(1)pjj(n−1)+k∈S,k=j∑fik(1)[l=1∑n−1fkj(l)pjj(n−1−l)]fij(1)pjj(n−1)+l=1∑n−1 k∈S,k=j∑(fik(1)fkj(l))pjj(n−1−l) fij(1)pjj(n−1)+l=1∑n−1(fij(l+1)pjj(n−1−l))fij(1)pjj(n−1)+l=2∑n(fij(l)pjj(n−l))l=1∑n(fij(l)pjj(n−l))

p i j ( n ) = ∑ l = 1 n f i j ( l ) p j j ( n − l ) p_{ij}^{(n)}=\sum\limits_{l=1}^{n}f_{ij}^{(l)}p_{jj}^{(n-l)} pij(n)=l=1∑nfij(l)pjj(n−l) 可以理解成，将 p i j ( n ) p_{ij}^{(n)} pij(n) 的事件按照第一次从 i i i 到达 j j j 的步数作为划分依据得到全事件

Th：状态 i i i 为常返的当且仅当 ∑ n = 0 ∞ p i i ( n ) = ∞ \sum\limits_{n=0}^{\infty}p_{ii}^{(n)}=\infty n=0∑∞pii(n)=∞ ；状态 i i i 为非常返时有 ∑ n = 0 ∞ p i i ( n ) = 1 1 − f i i \sum\limits_{n=0}^{\infty}p_{ii}^{(n)}=\frac{1}{1-f_{ii}} n=0∑∞pii(n)=1−fii1 ；

证明：（中间有一步交换求和次序的比较关键）
∑ n = 0 ∞ p i i ( n ) = p i i ( 0 ) + ∑ n = 1 ∞ p i i ( n ) = p i i ( 0 ) + ∑ n = 1 ∞ [ ∑ l = 1 n f i i ( l ) p i i ( n − l ) ] = 1 + ∑ l = 1 ∞ ∑ n = l ∞ f i i ( l ) p i i ( n − l ) = 1 + ∑ l = 1 ∞ ( f i i ( l ) ∑ n = l ∞ p i i ( n − l ) ) = 1 + ( ∑ l = 1 ∞ f i i ( l ) ) ( ∑ n = l ∞ p i i ( n − l ) ) = 1 + f i i ( ∑ n = 0 ∞ p i i ( n ) ) \begin{align} \sum\limits_{n=0}^{\infty}p_{ii}^{(n)}=&\, p_{ii}^{(0)}+\sum\limits_{n=1}^{\infty}p_{ii}^{(n)} \\ =&\, p_{ii}^{(0)}+\sum\limits_{n=1}^{\infty}\left[ \sum\limits_{l=1}^{n}f_{ii}^{(l)}p_{ii}^{(n-l)} \right] \\ =&\, 1+\sum\limits_{l=1}^{\infty}\sum\limits_{n=l}^{\infty}f_{ii}^{(l)}p_{ii}^{(n-l)} \\ =&\, 1+\sum\limits_{l=1}^{\infty}\left(f_{ii}^{(l)}\sum\limits_{n=l}^{\infty}p_{ii}^{(n-l)}\right) \\ =&\, 1+\left(\sum\limits_{l=1}^{\infty}f_{ii}^{(l)}\right)\left( \sum\limits_{n=l}^{\infty}p_{ii}^{(n-l)} \right) \\ =&\, 1+f_{ii}\left( \sum\limits_{n=0}^{\infty}p_{ii}^{(n)} \right) \\ \end{align} n=0∑∞pii(n)======pii(0)+n=1∑∞pii(n)pii(0)+n=1∑∞[l=1∑nfii(l)pii(n−l)]1+l=1∑∞n=l∑∞fii(l)pii(n−l)1+l=1∑∞(fii(l)n=l∑∞pii(n−l))1+(l=1∑∞fii(l))(n=l∑∞pii(n−l))1+fii(n=0∑∞pii(n))
因此：
∑ n = 0 ∞ p i i ( n ) = 1 1 − f i i \sum\limits_{n=0}^{\infty}p_{ii}^{(n)}=\frac{1}{1-f_{ii}} n=0∑∞pii(n)=1−fii1
Th：若 i ↔ j i\leftrightarrow j i↔j 且 i i i 为常返状态，则 f j i = 1 f_{ji}=1 fji=1 ；

证明：由于 i ↔ j i\leftrightarrow j i↔j ，因此系统中存在正概率，使得从 i i i 出发在有限步内可以到达 j j j ；假设 f j i < 1 f_{ji}\lt 1 fji<1 ，意味着系统中存在正概率从 j j j 出发在有限步内到达不了 i i i ；结合上面两点，意味着系统中存在正概率，使得从 i i i 出发，不能在有限步之内回到 i i i ，因此 f i i < 1 f_{ii}\lt 1 fii<1 ，与 i i i 是常返状态矛盾。

Th：常返状态是一个类性质。

证明：即证明若 i ↔ j i\leftrightarrow j i↔j ，则 i i i 、 j j j 同为常返或非常返状态。由 i ↔ j i\leftrightarrow j i↔j 可知，存在 n , m ≥ 0 n,\,m\geq 0 n,m≥0 ，使得 p i j ( n ) > 0 p_{ij}^{(n)}\gt 0 pij(n)>0 ， p j i ( m ) > 0 p_{ji}^{(m)}\gt 0 pji(m)>0 。由 C-K 方程得到：（即左边的事件包括了右边的事件，所以概率更大）
p i i ( m + n + l ) ≥ p i j ( n ) p j j ( l ) p j i ( m ) p j j ( m + n + l ) ≥ p j i ( m ) p i i ( l ) p i j ( n ) \begin{align} p_{ii}^{(m+n+l)}\geq&\, p_{ij}^{(n)}p_{jj}^{(l)}p_{ji}^{(m)} \\ p_{jj}^{(m+n+l)}\geq&\, p_{ji}^{(m)}p_{ii}^{(l)}p_{ij}^{(n)} \\ \end{align} pii(m+n+l)≥pjj(m+n+l)≥pij(n)pjj(l)pji(m)pji(m)pii(l)pij(n)
则对 l l l 求和得到：
∑ l = 0 ∞ p i i ( l ) ≥ ∑ l = 0 ∞ p i i ( m + n + l ) ≥ p i j ( n ) p j i ( m ) ∑ l = 0 ∞ p j j ( l ) ≥ ∑ l = 0 ∞ p j j ( l ) ∑ l = 0 ∞ p j j ( l ) ≥ ∑ l = 0 ∞ p j j ( m + n + l ) ≥ p j i ( m ) p i j ( n ) ∑ l = 0 ∞ p i i ( l ) ≥ ∑ l = 0 ∞ p i i ( l ) \begin{align} \sum\limits_{l=0}^{\infty}p_{ii}^{(l)}\geq\sum\limits_{l=0}^{\infty}p_{ii}^{(m+n+l)}\geq&\, p_{ij}^{(n)}p_{ji}^{(m)}\sum\limits_{l=0}^{\infty}p_{jj}^{(l)}\geq\sum\limits_{l=0}^{\infty}p_{jj}^{(l)} \\ \sum\limits_{l=0}^{\infty}p_{jj}^{(l)}\geq\sum\limits_{l=0}^{\infty}p_{jj}^{(m+n+l)}\geq&\, p_{ji}^{(m)}p_{ij}^{(n)}\sum\limits_{l=0}^{\infty}p_{ii}^{(l)}\geq\sum\limits_{l=0}^{\infty}p_{ii}^{(l)} \\ \end{align} l=0∑∞pii(l)≥l=0∑∞pii(m+n+l)≥l=0∑∞pjj(l)≥l=0∑∞pjj(m+n+l)≥pij(n)pji(m)l=0∑∞pjj(l)≥l=0∑∞pjj(l)pji(m)pij(n)l=0∑∞pii(l)≥l=0∑∞pii(l)
因此 ∑ l = 0 ∞ p i i ( l ) \sum\limits_{l=0}^{\infty}p_{ii}^{(l)} l=0∑∞pii(l) 和 ∑ l = 0 ∞ p j j ( l ) \sum\limits_{l=0}^{\infty}p_{jj}^{(l)} l=0∑∞pjj(l) 同为有穷或者无限，由上一个定理可以知道， f i i f_{ii} fii 和 f j j f_{jj} fjj 同时等于 1 或者小于 1；因此常返状态是一个类性质。

我们还可以证明，当 i i i ， j j j 同为常返状态时，它们同为正常返状态或零常返状态。下一节中将给出证明。

例：设 Markov 链的状态空间 S = { 0 , 1 , 2 , ⋯ } S=\{0,\,1,\,2,\,\cdots\} S={0,1,2,⋯} ，转移概率如图所示。

易知 f 00 ( 1 ) = 1 2 f_{00}^{(1)}=\frac{1}{2} f00(1)=21 ， f 00 ( 2 ) = 1 2 × 1 2 f_{00}^{(2)}=\frac{1}{2}\times\frac{1}{2} f00(2)=21×21 ， f 00 ( 3 ) = 1 2 × 1 2 × 1 2 f_{00}^{(3)}=\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2} f00(3)=21×21×21 ⋯ \cdots ⋯ ，因此：
f 00 = ∑ n = 1 ∞ 1 2 n = 1 μ 0 = ∑ n = 1 ∞ n 1 2 n = 2 < ∞ \begin{align} f_{00}=&\,\sum\limits_{n=1}^{\infty}\frac{1}{2^n}=1 \\ \mu_0=&\,\sum\limits_{n=1}^{\infty}n\frac{1}{2^n}=2\lt \infty \end{align} f00=μ0=n=1∑∞2n1=1n=1∑∞n2n1=2<∞
可见状态 0 0 0 是正常返状态，而且是非周期的，因此也是遍历状态；对于其他状态 i > 0 i\gt 0 i>0 ，都有 i ↔ 0 i\leftrightarrow 0 i↔0 ，因此也都是遍历状态。