随机过程（下）：Markov Jump与Kolmogorov equation

之前我们介绍了离散时间离散状态的马尔可夫链，这次就主要来谈一下连续时间的马尔可夫链，也就是所谓的Markov Jump。

连续时间和离散时间，带来最大的区别就在于转移概率，这就有点像速度这个概率，你可以用一秒一米表示速度，可是如果时间是一瞬间，应该怎么表示速度呢，答案是微分，对于转移概率也是一样。

通过对转移概率进行微分，就引出了transition rate：

μij=limh→0pij(h)h\mu _{ij} = lim_{h \to 0} \frac{p_{ij}(h)}{h}μij=limh→0hpij(h)

由transition rate进一步可构建出intensity matrix：

A(t)=(μij(t))k∗kA(t) = ( \mu_{ij}(t))_{k*k}A(t)=(μij(t))k∗k

上面两个概念都是转移概率和转移矩阵在Markov Jump的引申。可以看出，当时间连续的时候，我们的定义、计算都应该调整为瞬时，也就是进行微分。

除了以上这些基本的概念，Markov Jump还有一些其他内容值得探讨，而这些内容其实都是由状态会在瞬间发生变化这个特点引申的一些思考。第一个是occupancy probability，状态可能瞬间改变，也可能保持在同一个状态一段时间，那么一直保持当前状态的概率是多少呢，occupancy probability研究的就是这个问题：

pii‾(x,x+t)=Pr(Yx+s=i:0≤s≤t∣Yx=i)=e∫xx+tμii(s)dsp_{\overline {ii}}(x, x+t) = Pr(Y_{x+s} = i:0\leq s \leq t | Y_x = i) = e ^{\int _x ^{x+t} \mu_{ii}(s)ds}pii(x,x+t)=Pr(Yx+s=i:0≤s≤t∣Yx=i)=e∫xx+tμii(s)ds

第二个是residual holding time，表示从当前开始在时间段t内状态保持不变的概率：

Pr(Rx>t∣Yx=i)=pii‾(x,x+t)Pr(R_x > t| Y_x = i) = p_{\overline{ii}}(x, x+t)Pr(Rx>t∣Yx=i)=pii(x,x+t)

其中，Rx表示从时间x到下一次状态转移的时间间隔。等式左边表示发生状态转移所需要的时间大于t的概率，等式右边表示在时间t内保持状态不变的概率，所以两者是相等的。

第三个是holding（waiting） time：

Pr(Wx(i)>t∣Yx=i)=pii‾(x,x+t)Pr(W_x(i) > t| Y_x = i) = p_{\overline{ii}}(x, x+t)Pr(Wx(i)>t∣Yx=i)=pii(x,x+t)

其中W_x(i)指从时刻x进入状态i开始处于状态i的完整时间，感觉这个概念和residual holding time有点像又不是完全一样，holding time针对完整的处于状态i的时间，而residual holding time则是针对剩余的时间。

从连续时间的马尔科夫链其实也可以转化为离散时间的马尔科夫链，因为并不是每一个时刻状态都发生转移，所以我们可以定义Wn为从n-1到n次状态转移间隔的时间，并进一步定义：

Y~n=YW1+W2+...+Wn\widetilde Y_n = Y_{W_1 + W_2 + ... + W_n}Yn=YW1+W2+...+Wn

这里也不难理解，其实就是把发生状态转移的时刻抽出来，和状态一起构成一个新的随机变量族，这时候这个随机过程过程就变成了离散时间的马尔科夫链，并称他为jump chain，值得注意的是，这是针对time-homogeneous Markov jump process做的转换。

上面都是一些比较基本的内容，最后再说一下Chapman-Kolmogorov equation，它主要用来计算状态i经过多次转移到达状态j的概率，分为离散和连续两种情况讨论，假设我们讨论的是Time-homogeneous Markov chain，也就是转移矩阵不随时间改变，对于Time-homogeneous Markov chain的转移概率定义一种简化的写法：

pij(m)=pij(0，m)p_{ij}(m) = p_{ij}(0，m)pij(m)=pij(0，m)

首先看看离散的情况下怎么计算状态i经过多次状态转移到达状态j的概率：

pij(m,n)=∑k∈Spik(m,m+1)pkj(m+1,n)p_{ij}(m,n) = \sum _{k \in S} p_{ik}(m,m+1) p_{kj}(m+1,n)pij(m,n)=k∈S∑pik(m,m+1)pkj(m+1,n)

其中n=m+2，对于n>m+2的情况，有：

pij(m,n)=∑i1,...,il∈Spi,i1(m,m+1)...pil,j(n−1,n)p_{ij}(m,n) = \sum _{i_1,...,i_l \in S} p_{i,i_1}(m,m+1)...p_{i_l,j}(n-1,n)pij(m,n)=i1,...,il∈S∑pi,i1(m,m+1)...pil,j(n−1,n)

上式的意思就是其实就是把m到n中每一步所有可能的状态转移都计算一遍最后再加起来，而这条公式也就是Chapman-Kolmogorov equation。

看着复杂，其实真的很简单，我们只需要随便写一个初始概率分布，比如一个13的矩阵，写一个33的转移矩阵，做乘法会得到新的概率分布（依然是一个1*3的矩阵），其中状态一的概率，其实就是等于状态一、二、三的分布概率乘以它们转移到状态一的概率的和，说着拗口，算一下就知道的了。

重复上述的步骤，其实我们就能算出未来每个时刻的概率分布状况。所以回到最初的问题，怎么预测天气，如果转移矩阵假设保持不变，然后初始化概率分布，让今天的天气对应的概率为1，其他为0，然后不断乘以转移概率，就能陆续得到接下来每一天的天气了。

对于连续的情况，我们有两条方程。Kolmogorov’s forward differential equation：

ddtpij(t)=∑k∈Spik(t)μkj\frac{d}{dt}p_{ij}(t) = \sum _{k\in S} p_{ik}(t) \mu _{kj}dtdpij(t)=k∈S∑pik(t)μkj

同时也有Kolmogorov’s backward differential equation：

ddtpij(t)=∑k∈Sμikpkj(t)\frac{d}{dt}p_{ij}(t) = \sum _{k\in S} \mu _{ik} p_{kj}(t) dtdpij(t)=k∈S∑μikpkj(t)

具体的推导是从离散的形式进行微分得到的，这里暂不展开了。

关于Kolmogorov differential equation的求解有几种方法，Triangularisation、Matrix eigenvalues and eigenvectors、Linear differential equations，有兴趣的可以深入了解一下。

以上就是随机过程的一些基本内容，我们学习的时候，其实会更加注重对马尔科夫链的性质的分析、Kolmogorov differential equation的求解等等，除此之外，还有一些实例的分析，比如泊松过程，如果想要深入学习随机过程，最好还是找本教材看看。

有些地方我可能也理解得不够透彻，如果有错误或者疑问欢迎指出交流。

随机过程（下）：Markov Jump与Kolmogorov equation相关推荐

【通信原理】第三章 -- 随机过程[下]
文章目录第三章随机过程窄带随机过程 ξc(t)和ξs(t)的统计特性 αξ(t)和φξ(t)的统计特性正弦波加窄带高斯噪声高斯白噪声和带限白噪声总结第三章随机过程窄带随机过程若随机 ...
马尔可夫决策过程 Markov decision process MDP, 连续时间Markov chain, CMDP（全）
引言在概率论及统计学中,马尔可夫过程(英语:Markov process)是一个具备了马尔可夫性质的随机过程,因为俄国数学家安德雷·马尔可夫得名.马尔可夫过程是不具备记忆特质的(memoryless ...
【理论推导】随机微分方程(SDE)视角下的Diffusion Model与Score-based Model
SDE与DDPM 以 DDPM 为例,DDPM的通项公式为 x t ∼ N ( α ‾ t x 0 , ( 1 − α ‾ t ) I ) x_t \sim \mathcal N(\sqrt{\ove ...
初等数学术语：整除、整除以 ← 随机过程
在随机过程的 MarkovMarkovMarkov 链学习过程中,涉及到初等数学术语"整除"及"整除以",现举例说明: aaa 整除 bbb,表示为 ba\di ...
读书笔记：Markov链的状态分类之互达性
(可达与互达)如果对某一 n≥0n\geq 0n≥0,有 Pij(n)>0P_{ij}^{(n)} \gt 0Pij(n)>0,则称状态 jjj 是从状态 iii 可达的 (access ...
Random Walk 随机漫步理论 Random Walk Theory 随即漫步应用
目录 Random walk 点阵随机游走一维随机游走马尔可夫链更高的纬度与维纳过程的关系高斯随机游走异常扩散不同站点的数量应用变种在图表上自我互动随机游走远程相关步行偏向随 ...
cayenne：用于随机模拟的Python包
TL;DR; We just released v1.0 of cayenne, our Python package for stochastic simulations! Read on to f ...
20世纪最伟大的数学家之一弗拉基米尔·阿诺德
2008年9月9日,香港特区行政长官曾荫权(中).邵逸夫奖创办人邵逸夫(右)与2008年度邵逸夫奖数学科学奖得主俄罗斯莫斯科斯捷克洛夫数学研究院教授弗拉基米尔·阿诺德(左)在颁奖礼上. 环球网实习记者 ...
马尔可夫过程与泊松过程
随机过程之马尔可夫Markov Process与泊松过程Poisson process 概念随机过程可以看成一些随机变量的集合,如下图,可把 T 看成时间,随着时间点t的演变随机过程也在演变,而 ...

随机过程（下）：Markov Jump与Kolmogorov equation

随机过程（下）：Markov Jump与Kolmogorov equation相关推荐

最新文章

热门文章