[学习笔记]马氏链模型

引例：
（带有反射壁的随机徘徊）如果在原点右边距离原点一个单位及距原点 s(s > 1)个单位处各立一个弹性壁。一个质点在数轴右半部从距原点两个单位处开始随机徘徊。每次分别以概率 p(0 < p < 1) 和 q(q = 1− p) 向右和向左移动一个单位；若在+1 处，则以概率 p 反射到 2，以概率q 停在原处；在 s 处，则以概率 q 反射到 s −1，以概率 p 停在原处。
由该例子可以看出，我们所做的，是根据质点的移动方向和方向对应的概率，对质点的运动方向进行预测。在这背景下，球移动的方向与概率只与当前的点有关，与它历史运动轨迹无关。
因此，这种现象可以用一句话来概括：某一系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，而与过去的历史无直接关系。描述这类随机现象的数学模型称为马氏模型。

概念以及定理：
时齐性：它的含义是：系统由状态i 到状态j 的转移概率只依赖于时间间隔的长短，与起始的时刻无关。在此马氏链假定都是时齐的，因此省略“时齐”二字。

n可以理解成起点的位置n=1，2… m表示从n开始的时间间隔，i与j分别表示n点的状态与n+m点的状态。由式子可以看出，概率与n无关，只与起点状态，终点状态，以及两点之间的距离有关。
转移概率矩阵： m 步转移概率 p (m) ij 为元素的矩阵为马尔可夫链的m 步转移矩阵。当m = 1时，记 P(1) = P 称为马尔可夫链的一步转移矩阵，或简称转移矩阵。（下面是一个转移矩阵）

并且由上面的图可以看出一些性质：
(1)上次购买的A对应下次购买的A、B、C的概率，每一个都在范文[0,1]，而且总和是1.
(2)当步数为0时，若前后状态相同，概率为1。状态不同概率为0。
吸收链：如果马氏链至少含有一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马氏链被称为吸收链。

如图，当状态到4的时候就会停留到4，状态4也就被称为吸收状态。

实例说明：
当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间及参数集合，然后确定它的一步转移概率。关于这一概率的确定，可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观测数据来估计。

1.(利用统计手段获得转移概率)某计算机机房的一台计算机经常出故障，研究者每隔 15 分钟观察一次计算机的运行状态，收集了 24 小时的数据（共作 97 次观察）。用 1 表示正常状态，用 0 表示不正常状态，所得的数据序列如下：
1110010011111110011110111111001111111110001101101
111011011010111101110111101111110011011111100111
我们将其看作时齐马氏链，分别找出fij（表示状态i到状态j的次数）
求得 96 次状态转移的情况是：0 → 0，8 次； 0 →1，18 次；1→ 0 ，18 次； 1→1，52 次。
可以看出由0开始，到0、1的频率为4/13、9/13。从1开始到0、1的频率为9/35、26/35.用频率表示概率，从而获得概率。

2.（利用马尔可夫链进行预测）若顾客的购买是无记忆的，即已知现在顾客购买情况，未来顾客的购买情况不受过去购买历史的影响，而只与现在购买情况有关。现在市场上供应 A、B、C 三个不同厂家生产的 50 克袋状味精，用“ξ n = 1”、“ξ n = 2 ”、“ξ n = 3”分别表示“顾客第n 次购买 A、B、C 厂的味精”。显然，{ ,n = 1,2,L} ξ n 是一个马氏链。若已知第一次顾客购买三个厂味精的概率依次为 0.2，0.4，0.4。又知道一般顾客购买的倾向由表 2给出。求顾客第四次购买各家味精的概率。

构建初始状态：P(1)=[0.2 0.4 0.4 ]
构建转移矩阵：
P=[ 0.8 0.1 0.1
0.5 0.1 0.4
0.5 0.3 0.2]
根据定理：

则顾客第四次购买各家味精的概率为:P(4)=P(1)P^3=[0.7004 0.136 0.1636]

3.根据例 2中给出的一般顾客购买三种味精倾向的转移矩阵，预测经过长期的多次购买之后，顾客的购买倾向如何？
由题意可得，我们需要对Pn（n->+∞）求极限。（定义与定理略，上程序）

format rat
p=[0.8 0.1 0.1;0.5 0.1 0.4;0.5 0.3 0.2];
a=[p'-eye(3);ones(1,3)];
b=[zeros(3,1);1];
p_limit=a\b

求得p1=5/7，p2=11/84,p3=13/84.
这说明，无论第一次顾客购买的情况如何，经过长期多次购买以后，三个味精场的市场占有率趋于平衡。

4.（吸收链类型）智力竞赛问题甲、乙两队进行智力竞赛。竞赛规则规定：竞赛开始时甲、乙两队各记 2 分，在抢答问题时，如果甲队赢得 1 分，那么甲队的总分将增加 1分，同时乙队总分将减少 1 分。当甲（或乙）队总分达到 4 分时，竞赛结束，甲（或乙）获胜。根据队员的智力水平，知道甲队赢得 1 分的概率为 p ，失去 1 分的概率为1− p ，求：（i）甲队获胜的概率是多少？（ii）竞赛从开始到结束，分数转移的平均次数是多少？（iii）甲队获得 1、2、3 分的平均次数是多少？
由于推导过程较为复杂，先将代码展出。

syms p q
r=[q,0;0,0;0,p];
s=[0,p,0;q,0,p;0,q,0];
f=(eye(3)-s)^(-1);f=simplify(f)
n=f*ones(3,1);n=simplify(n)
b=f*r;b=simplify(b)

在实践过程中由于simple函数已经被替代，因此使用了simplify函数进行符号计算的化简。

本文是初学者笔记，意在整理章节内容

[学习笔记]马氏链模型相关推荐

【数学建模】马氏链模型（基本概念+正则链+吸收链）
马氏链模型(Markov Chain) 对于有随机因素影响的动态系统,系统从这个时期到下个时期的状态按照一定的概率进行转移,并且下个时期的状态只取决于这个时期的状态和转移概率. 无后效性:已知现在,将 ...
数学建模笔记（十四）：马氏链模型
文章目录一.引例:健康与疾病(介绍马氏链基本概念和性质) 1.第一类问题背景(不考虑死亡) 2.状态与状态转移(趋于稳定,与初值无关) 3.第二类问题背景(考虑死亡) 4.状态转移(结局已定) 二. ...
学习笔记25马氏链模型
前段时间担任协会负责人,在搞matlab培训,又报了一堆竞赛.最近几个星期有空学习和记录.上次国赛全国二等奖的目标没达到,拿了个省一等奖,继续努力. 用已有的数据预测下一阶段某状态只有两个状态下面 ...
【随机过程】18 - 连续时间马氏链与排队论
连续时间马尔科夫链与排队论文章目录连续时间马尔科夫链与排队论 1. 连续时间马氏链 1.1 概述 1.2 停留时间的分布 1.3 跳变概率 1.3.1 连续时间马氏链CK方程 1.3.2 Q矩阵 ...
WinSock学习笔记3：Select模型
WinSock学习笔记3:Select模型 unit Unit1; interface uses Windows, Messages, SysUtils, Variants, Classes, G ...
CUDA学习笔记之 CUDA存储器模型
CUDA学习笔记之 CUDA存储器模型标签: cuda存储bindingcache编程api 2010-12-14 01:33 1223人阅读评论(0) 收藏举报分类: CUDA(26) GP ...
Python数据挖掘学习笔记】九.回归模型LinearRegression简单分析氧化物数据
#2018-03-23 16:26:20 March Friday the 12 week, the 082 day SZ SSMR [Python数据挖掘学习笔记]九.回归模型LinearRegre ...
数学建模（六）主成分分析，聚类分析，对策论，马氏链
全并到一起写是因为我只想写十篇. 1.主成分分析 PCA!!! 主成分分析(Principal Component Analysis, PCA),将多个变量通过线性变换以选出较少个数重要变量的一种多元 ...
2020-4-20 深度学习笔记20 - 深度生成模型 3 (实值数据上的玻尔兹曼机)
第二十章深度生成模型 Deep Generative Models 中文英文 2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机,受限玻尔兹曼机RBM) 2020-4-18 ...

[学习笔记]马氏链模型

[学习笔记]马氏链模型相关推荐

最新文章

热门文章