马氏链模型（Markov Chain）

对于有随机因素影响的动态系统，系统从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率。
无后效性：已知现在，将来与历史无关。
具有无后效性，时间、状态均为离散的随机转移过程通常用马氏链模型描述。

实例1：健康与疾病

本实例介绍马氏链的基本概念，以及两种主要类型——正则链和吸收链。

人的健康状态随时间的推移会发生转变，人寿保险公司要通过对状态转变的概率做出估计，才能确定出不同年龄、不同健康状况的人的保险金和理赔金数额，下面分两种情况进行讨论：

情况一：

把人的健康状况分为健康和疾病两种，以一年为一个时段研究状态的转变。假定对某一年龄段的人，今年健康，明年转为疾病状态的概率为0.2；今年患病，明年转为健康的概率为0.7。
如果一个人投保时处于健康状态，我们研究以后若干年他分别处于这两种状态的概率。
用随机变量 X n X_n Xn 表示第 n n n 年的状态， X n = 1 X_n=1 Xn=1 表示健康， X n = 2 X_n=2 Xn=2 表示疾病， n = 0 , 1 , 2 , . . . n=0,1,2,... n=0,1,2,...，用 a i ( n ) a_i(n) ai(n) 表示第 n n n 年处于状态 i i i 的概率， i = 1 , 2 i=1,2 i=1,2，即 a i ( n ) = P ( X n = i ) a_i(n)=P(X_n=i) ai(n)=P(Xn=i)。
用 p i j p_{ij} pij 表示已知今年状态处于状态 i i i，来年状态处于状态 j j j 的概率， p i j p_{ij} pij 称为状态转移概率。
显然，第 n + 1 n+1 n+1 年的状态 X n + 1 X_{n+1} Xn+1 只取决于第 n n n 年的状态 X n X_n Xn 和转移概率 p i j p_{ij} pij，而与以前的状态 X n − 1 , X n − 2 , . . . X_{n-1},X_{n-2},... Xn−1,Xn−2,... 无关，即状态转移具有无后效性。
第 n + 1 n+1 n+1 年的状态概率可由全概率公式得到：
{ a 1 ( n + 1 ) = a 1 ( n ) p 11 + a 2 ( n ) p 21 a 2 ( n + 1 ) = a 1 ( n ) p 12 + a 2 ( n ) p 22 \left\{\begin{array}{l} a_{1}(n+1)=a_{1}(n) p_{11}+a_{2}(n) p_{21} \\ a_{2}(n+1)=a_{1}(n) p_{12}+a_{2}(n) p_{22} \end{array}\right. {a1(n+1)=a1(n)p11+a2(n)p21a2(n+1)=a1(n)p12+a2(n)p22
由前 p 11 = 0.8 , p 12 = 0.2 , p 21 = 0.7 , p 22 = 0.3 p_{11}=0.8, p_{12}=0.2, p_{21}=0.7, p_{22}=0.3 p11=0.8,p12=0.2,p21=0.7,p22=0.3，投保人开始时处于健康状态，即 a 1 ( 0 ) = 1 , a 2 ( 0 ) = 0 a_{1}(0)=1, a_{2}(0)=0 a1(0)=1,a2(0)=0 立即可以算出以后各年他处于两种状态的概率 a 1 ( n ) , a 2 ( n ) , n = 1 , 2 , ⋯ , a_{1}(n), a_{2}(n), n=1,2, \cdots, a1(n),a2(n),n=1,2,⋯, 如下表：
通过计算可以发现，无论初始状态概率是否相同，对于给定的状态转移概率， n → ∞ \boldsymbol{n} \rightarrow \infty n→∞ 时，状态概率 a 1 ( n ) , a 2 ( n ) a_{1}(n), a_{2}(n) a1(n),a2(n) 趋于稳定值，该值与初始状态无关，这是一种主要的马氏链类型的重要性质。

情况二：

把人的死亡作为第3种状态，用 X n = 3 X_n=3 Xn=3 表示，今年健康、明天可能因突发疾病或偶然事故而死亡，今年患病、明年更可能转为死亡，而一旦死亡就不能再转为健康或疾病状态。
用 a i ( n ) a_i(n) ai(n) 表示第 n n n 年处于状态 i i i 的概率， i = 1 , 2 , 3 i=1,2,3 i=1,2,3，用 p i j p_{ij} pij 表示状态转移概率。特别注意， p 31 = p 32 = 0 , p 33 = 1 p_{31}=p_{32}=0,p_{33}=1 p31=p32=0,p33=1
第 n + 1 n+1 n+1 年的状态概率可由全概率公式得到：
{ a 1 ( n + 1 ) = a 1 ( n ) p 11 + a 2 ( n ) p 21 + a 3 ( n ) p 31 a 2 ( n + 1 ) = a 1 ( n ) p 12 + a 2 ( n ) p 22 + a 3 ( n ) p 32 a 3 ( n + 1 ) = a 1 ( n ) p 13 + a 2 ( n ) p 23 + a 3 ( n ) p 33 \left\{\begin{array}{l} a_{1}(n+1)=a_{1}(n) p_{11}+a_{2}(n) p_{21}+a_{3}(n) p_{31} \\ a_{2}(n+1)=a_{1}(n) p_{12}+a_{2}(n) p_{22}+a_{3}(n) p_{32} \\ a_{3}(n+1)=a_{1}(n) p_{13}+a_{2}(n) p_{23}+a_{3}(n) p_{33} \end{array}\right. ⎩ ⎨ ⎧a1(n+1)=a1(n)p11+a2(n)p21+a3(n)p31a2(n+1)=a1(n)p12+a2(n)p22+a3(n)p32a3(n+1)=a1(n)p13+a2(n)p23+a3(n)p33
算得的结果如下表所示：
表中的最后一列时根据计算数值的趋势猜测的，可以看到，不论初始状态如何，最终都要转到状态3.

马氏链的基本概念

马氏链及其基本方程

按照系统的发展，时间离散化为 n = 0 , 1 , 2... n=0,1,2... n=0,1,2...，对每个 n n n ，系统的状态用随机变量 X n X_n Xn 表示，设 X n X_n Xn 可取 k k k 个离散值 X n = 1 , 2 , . . . , k X_n=1,2,...,k Xn=1,2,...,k，且记 a i ( n ) = P ( X n = i ) a_i(n)=P(X_n=i) ai(n)=P(Xn=i)，即状态概率。
如果 X n + 1 X_{n+1} Xn+1 的取值只取决于 X n X_n Xn 的取值及转移概率，而与 X n − 1 , X n − 2 , . . . X_{n-1},X_{n-2},... Xn−1,Xn−2,... 的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链。
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为：
a i ( n + 1 ) = ∑ j = 1 k a j ( n ) p j i , i = 1 , 2 , ⋯ , k a_{i}(n+1)=\sum_{j=1}^{k} a_{j}(n) p_{j i}, \quad i=1,2, \cdots, k ai(n+1)=j=1∑kaj(n)pji,i=1,2,⋯,k
并且满足：
∑ i = 1 k a i ( n ) = 1 , n = 0 , 1 , 2 , ⋯ p i j ⩾ 0 , i , j = 1 , 2 , ⋯ , k ∑ j = 1 k p i j = 1 , i = 1 , 2 , ⋯ , k \begin{array}{ll} \sum_{i=1}^{k} a_{i}(n)=1, & n=0,1,2, \cdots \\ p_{i j} \geqslant 0, & i, j=1,2, \cdots, k \\ \sum_{j=1}^{k} p_{i j}=1, & i=1,2, \cdots, k \end{array} ∑i=1kai(n)=1,pij⩾0,∑j=1kpij=1,n=0,1,2,⋯i,j=1,2,⋯,ki=1,2,⋯,k
引入状态概率向量（行向量）和转移概率矩阵（简称转移矩阵）：
a ( n ) = ( a 1 ( n ) , a 2 ( n ) , ⋯ , a k ( n ) ) , P = { p i j } k × k a(n)=\left(a_{1}(n), a_{2}(n), \cdots, a_{k}(n)\right), P=\left\{p_{i j}\right\}_{k \times k} a(n)=(a1(n),a2(n),⋯,ak(n)),P={pij}k×k
则基本方程可以表示为：
a ( n + 1 ) = a ( n ) P a(n+1)=a(n) P a(n+1)=a(n)P
还可以得到：
a ( n ) = a ( 0 ) P n a(n)=a(0) P^{n} a(n)=a(0)Pn
转移矩阵 P P P 是非负阵， P P P 的行和为1，称为 随机矩阵。
马氏链模型最基本的问题是构造状态 X n X_n Xn 及写出转移矩阵 P P P，这里的转移矩阵与时段 n n n 无关，这种马氏链称为时齐的。

马氏链的两个重要类型

正则链

这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态。

定义一个有 k k k 个状态的马氏链如果存在正整数 N N N ，使从任意状态 i i i 经 N N N 次转移都以大于零的概率到达状态 j ( i , j = 1 , 2 , . . . . , k ) j(i,j=1,2,....,k) j(i,j=1,2,....,k)，则称为正则链。
用下面的定理可以检验一个马氏链是否是正则链：
定理1 若马氏链的转移矩阵是 P P P，则它是正则链的充要条件是，存在正整数 N N N，使 P N > 0 P^N>0 PN>0
定理2 正则链存在唯一的极限状态概率 w = ( w 1 , w 2 , . . . , w k ) w=(w_1,w_2,...,w_k) w=(w1,w2,...,wk)，又称稳态概率。
求解稳态概率 w w w 线性方程租：
w P = w ∑ i = 1 k w i = 1 \begin{array}{c} \boldsymbol{w}P=\boldsymbol{w} \\ \sum_{i=1}^{k} w_{i}=1 \end{array} wP=w∑i=1kwi=1
从状态 i i i 出发，第一次到达状态 j j j 的概率称为 i i i 到 j j j 的首达概率，记作 f i j ( n ) f_{ij}(n) fij(n)，于是由状态 i i i 到达第一次状态 j j j 的平均转移次数为
μ i j = ∑ n = 1 ∞ n f i j ( n ) \mu_{i j}=\sum_{n=1}^{\infty} n f_{i j}(n) μij=n=1∑∞nfij(n)

吸收链

定义转移概率 p i i = 1 p_{ii}=1 pii=1 的状态 i i i 称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，那么这个马氏链称为吸收链。
吸收链的转移矩阵可以写成简单的标准形式。若有 r r r 个吸收状态， k − r k-r k−r 个非吸收状态，则转移矩阵 P P P 可表为
P = [ I r × r 0 R Q ] P=\left[\begin{array}{cc} \mathbb{I}_{r \times r} & 0 \\ R & Q \end{array}\right] P=[Ir×rR0Q]

【数学建模】马氏链模型（基本概念+正则链+吸收链）相关推荐

Python小白的数学建模课-15.图论的基本概念
图论中所说的图,不是图形图像或地图,而是指由顶点和边所构成的图形结构. 图论不仅与拓扑学.计算机数据结构和算法密切相关,而且正在成为机器学习的关键技术. 本系列结合数学建模的应用需求,来介绍 Netw ...
Python小白的数学建模课-09.微分方程模型
小白往往听到微分方程就觉得害怕,其实数学建模中的微分方程模型不仅没那么复杂,而且很容易写出高水平的数模论文. 本文介绍微分方程模型的建模与求解,通过常微分方程.常微分方程组.高阶常微分方程 3个案例手 ...
dna序列分类数学建模matlab,数学建模DNA序列分类模型(终稿).doc
您所在位置:网站首页 > 海量文档 &nbsp>&nbsp高等教育&nbsp>&nbsp生物学数学建模DNA序列分类模型(终稿).doc32页本文 ...
【Python数学建模】SEIR传染病模型模型延伸-SEIDR模型（一），加入疫苗接种、政府管控、病毒变异等因素的影响
目录一. SEIR传染病模型二. SEIR模型的延伸--SEIDR模型三. 模型延伸--影响因素1:疫苗接种四. 模型延伸--影响因素2:政府管控五. 模型延伸--影响因素3:病毒变异写在 ...
数学建模学习记录——数学规划模型
数学建模学习记录--数学规划模型一.线性规划问题 MatLab中线性规划的标准型 MatLab中求解线性规划的命令二.整数线性规划问题三.非线性规划问题 MatLab中非线性规划的标准型 Mat ...
数学建模美赛常见模型
数学模型的分类按数学方法分类: 几何模型.图论模型.微分方程模型.概率模型.最优控制模型.规划论模型.马氏链模型等. 按特征分类: 静态模型和动态模型,确定性模型和随机模型,离散模型和连续性模型,线性 ...
数学建模常考三大模型
在数学建模中,经常考到三大模型是预测模型,优化模型,评估模型.如果你是想学数学建模,那这三大模型是一定要熟悉这三大模型预测模型:神经网络预测,时间序列预测,线性回归预测,灰度预测,马尔科夫链预测,微 ...
2023电工杯数学建模B题思路模型
文章目录 0 赛题思路 1 竞赛信息 2 竞赛时间 3 组织机构 4 建模常见问题类型 4.1 分类问题 4.2 优化问题 4.3 预测问题 4.4 评价问题 0 赛题思路 (赛题出来以后第一时间在C ...
2023第十五届电工杯数学建模AB题思路模型
文章目录 0 赛题思路 1 竞赛信息 2 竞赛时间 3 组织机构 4 建模常见问题类型 4.1 分类问题 4.2 优化问题 4.3 预测问题 4.4 评价问题 0 赛题思路 (赛题出来以后第一时间在C ...

【数学建模】马氏链模型（基本概念+正则链+吸收链）

马氏链模型（Markov Chain）

实例1：健康与疾病

情况一：

情况二：

马氏链的基本概念

马氏链及其基本方程

马氏链的两个重要类型

正则链

吸收链

【数学建模】马氏链模型（基本概念+正则链+吸收链）相关推荐

最新文章

热门文章