随机过程之马尔科夫链

2024-04-30 12:50:49

一随机过程Stochastic process

随机过程：存在一个过程 {Xn,n>0}\left \{ X_{n},n> 0 \right \}{Xn,n>0}，对于任意时刻nnn而言，XnX_{n}Xn是一个随机变量，则称该过程为一个随机过程。

简而言之，就是一个时刻，一个随机变量。

二离散时间马尔科夫建模

马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），简称为DTMC。

随机过程，状态空间是离散的，时间是离散的（一次一次；一分钟一分钟；一天又一天等）。

在DTMC中，本次状态仅仅由前一状态所影响，与之前的状态无关（也就是说，先前的活动通过作用于前一状态而影响本次状态）。这一性质叫做马尔可夫性。

需要界定几个概念：
1.状态空间：随机过程中随机变量能够取到的值，所组成的样本空间。

2.转移概率：在不同时刻，从某一状态转移到另一状态的概率值。与时刻有关。

pij(n)p_{ij}\left ( n \right )pij(n)：在时刻n，从状态iii转移到状态jjj的概率。

那么把所有时刻的写出来，就会有一个状态转移矩阵。

注：若DTMC不依赖于时间，即状态转移概率与时刻t无关，那么称为齐次homogenuous 的DTMC。即有：
且有：概率转移矩阵，从本状态转移到下一状态的所有可能性为1。

注意：写状态转移概率时，两端要特别当心，中间的基本一样，只和下标有关，两端要当心。

3.稳态时：每种状态的概率变成了一个稳定的值，也就是收敛了，与时刻无关。只与转移概率矩阵PPP有关，与初始概率π(0)\pi(0)π(0)的分布无关。>>>也是说，只要定义了转移概率，模型就已经确定下来了，与初始状态是什么样的并没有关系。

通常用π\piπ来表示，即只跟本状态jjj有关，与前一状态iii无关了。

具体例子可看: 马尔科夫链定理.

后续有空再继续整理：

随机过程之马尔科夫链相关推荐

从随机过程到马尔科夫链蒙特卡洛方法
1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 RBM ...
马尔科夫链和马尔科夫随机场
From:http://blog.csdn.net/j123kaishichufa/article/details/7638181 1.什么是随机过程? 在当代科学与社会的广阔天地里,人们都可以看到一 ...
马尔科夫随机场和马尔科夫链
1.什么是随机过程? 在当代科学与社会的广阔天地里,人们都可以看到一种叫作随机过程的数学模型:从银河亮度的起伏到星系空间的物质分布.从分子的布朗运动到原子的蜕变过程,从化学反应动力学到电话通讯理论.从 ...
15、条件概率、全概率公式、贝叶斯公式、马尔科夫链
条件概率定义:设A.B是两个事件,且,P(A) > 0 则称为事件A发生的条件下事件B的条件概率对这个式子进行变形,即可得到概率的乘法公式: P(A) > 0 时,则 P(B) &g ...
从随机过程到马尔科夫蒙卡洛方法
转从随机过程到马尔科夫链蒙特卡洛方法 1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning ...
求解平稳分布matlab,随机过程课程设计--应用马尔科夫链的平稳分布预测空调市场的占有率.doc...
课程名称: <随机过程> 课程设计(论文) 题目: 应用马尔科夫链的平稳分布预测市场占有率学院: 理学院专业: 数学与应用数学班级: 15-1 学生姓名: 邹光睿学 ...
第十四课.马尔科夫链
目录马尔科夫链马尔科夫链的平稳分布马尔科夫链进入稳态的转移过程马尔科夫链稳态的意义稳态判定:细致平稳条件马尔科夫链随机过程指的是一个随机变量序列:{Xt}\left\{X_{t}\rig ...
13张动图助你彻底看懂马尔科夫链、PCA和条件概率！
来源:新智元本文共2100字,建议阅读9分钟. 本文用可视化的方式来解释抽象的理论概念,使这些抽象概念变得生动而立体! [ 导读 ]马尔科夫链.主成分分析以及条件概率等概念,是计算机学生必学的知识点 ...
深度学习-清晰易懂的马尔科夫链原理介绍
马尔科夫链是一种非常常见且相对简单的统计随机过程,从文本生成到金融建模,它们在许多不同领域都得到了应用.马尔科夫链在概念上非常直观且易于实现,因为它们不需要使用任何高级的数学概念,是一种概率建模和数据 ...
清晰易懂的马尔科夫链原理介绍
马尔科夫链是一种非常常见且相对简单的统计随机过程,从文本生成到金融建模,它们在许多不同领域都得到了应用.马尔科夫链在概念上非常直观且易于实现,因为它们不需要使用任何高级的数学概念,是一种概率建模和数据 ...

最新文章

热门文章