马尔科夫随机过程的理解

连续时间：马尔科夫随机过程；
离散时间：马尔科夫链；（离散时间，同时也要求为离散状态）
- 之所以这样规定，在于可以方便的使用矩阵（一步转移概率矩阵）来刻画转移的概率关系（转换图），这样便可将从随机过程中抽象得到的问题转化为线性代数问题来求解；

在物理学中，很多确定性现象遵从如下演变规则：由时刻 t0t_0 系统或过程所处的状态，（就）可以决定系统或过程在时刻 t>t0t > t_0 所处的状态，而无需借助于 t0t_0 以前（不需要更多的更久之前的信息）系统或过程所处状态的历史资料。

如微分方程初值问题所描绘的物理过程就属于这类确定性现象。把上述原则延伸到随机现象，即当一物理系统或过程遵循的是某种统计规律时，可仿照上面的原则，引入以下的马尔科夫性或无后效性。

1. 转移概率矩阵

记号的理解：Pij(m,m+n)=P{Xm+n=aj∣∣Xm=ai}P_{ij}\left(m,m+n\right)=P\left\{X_{m+n}=a_j\big |X_{m}=a_{i}\right\}
- m,m+nm, m+n 表示时刻；
- i,ji, j 表示状态（Xm/m+n=ai/ajX_{m/m+n}=a_{i}/a_{j}）下标；

由转移概率组成的矩阵 P(m,m+n)=(Pij(m,m+n))\mathbf P\left(m, m+n\right)=\left(P_{ij}\left(m,m+n\right)\right) 称为马氏链的转移概率矩阵，据其物理含义，显然有：

∑j=1∞Pij(m,m+n)=1,i=1,2,….

\sum_{j=1}^\infty P_{ij}\left(m,m+n\right)=1,\quad i=1,2,\ldots.

因此此概率转移矩阵（nn 步转移矩阵，nn 是确定的）的每一行行和为 1（从当前位置出发能够到达的状态之间的概率，构成一个概率分布），行号和列号 ai/ja_{i/j} 表示不同的状态（Xm/m+n=ai/jX_{m/m+n}=a_{i/j}），Pij\mathbf P_{ij} 表示的是该 nn 步概率转移矩阵从 aia_i 转移到 aja_j 的概率大小。

当转移概率 Pij(m,m+n)P_{ij}\left(m, m+n\right) 只与 i,ji, j 及时间间距 nn 有关系时，把它记为 Pij(n)P_{ij}\left(n\right)，即：

Pij(m,m+n)=Pij(n)

P_{ij}\left(m,m+n\right)=P_{ij}\left(n\right)

此时称此转移概率具有平稳性（与时间起始和终止无关，只与时间间隔有关），同时也称此链是齐次的或时齐的。

齐次性保证了，昨天天气到今天天气的一步概率转移矩阵与今天到明天的一步概率转移矩阵是一致的。

2. 真实应用

在实际问题中，一步转移概率通常课通过统计试验确定。

3. 有限维分布

首先，来定义一些记号：

pj(0)=P{X0=aj},aj∈I,j=1,2,3

p_j\left(0\right)=P\left\{X_0=a_j\right\},\quad a_j\in I,\;j=1, 2,3

称其为马氏链的初始分布，再看马氏链在任意时刻 n∈T1n\in T_1 的一维分布：

pj(n)=P{Xn=aj},aj∈I,j=1,2,⋯

p_j\left(n\right)=P\left\{X_n=a_j\right\},\quad a_j\in I,\; j=1,2,\cdots

显然，应有 ∑j=1∞pj(n)=1\sum\limits_{j=1}^\infty p_j(n)=1，因此有：

P{Xn=aj}===∑i=1∞P{X0=ai,Xn=aj}∑i=1∞P{Xn=aj∣∣X0=ai}P{X0=ai}∑i=1∞pi(0)Pij(n)

\begin{split} P\left\{X_n=a_j\right\}=&\sum_{i=1}^\infty P\left\{X_0=a_i, X_n=a_j\right\}\\ =&\sum_{i=1}^\infty P\left\{X_n=a_j\big |X_0=a_i\right\}P\left\{X_0=a_i\right\}\\ =&\sum_{i=1}^\infty p_i(0) P_{ij}\left(n\right) \end{split}

或者写作：pj(n)=∑i=1∞pi(0)Pij(n)p_j(n)=\sum\limits_{i=1}^\infty p_i(0)P_{ij}(n)；

一维分布也可以用行向量表示为：

p(n)=(p1(n),p2(n),…,pj(n),…,)

p\left(n\right)=\left(p_1\left(n\right),p_2\left(n\right),\ldots,p_j\left(n\right),\ldots,\right)

这样，pj(n)=∑i=1∞pi(0)Pij(n)p_j(n)=\sum\limits_{i=1}^\infty p_i(0)P_{ij}(n) 便可以写作：

p(n)=p(0)P(n)

p\left(n\right)=p\left(0\right)P\left(n\right)