随机过程(2)马尔可夫链的主要性质查普曼-科莫高洛夫方程

北美高校就读统计,主要研究数理统计。空闲之时会在博客内会和大家share一些数理统计的基础知识。在这个系列的博客，我将会为大家献上随机过程的主要内容。绝对干货满满。如果有不完善之处，请善意指正，谢谢大家！！！PS：因为本人字巨丑，很多证明又习惯用笔写出来。。。请见谅。。。

非商业用途转载请加上原来博主链接，未经博主同意不允许进行商业用途

1. 知识回顾

首先用一个例子来回顾马尔可夫的基本内容。

有一个两个管状空间体由一个小管状物链接，两个管状空间一共有N个一摸一样的球，随机从N个球中取出（可能在左边取，也有可能在右边取，是随机的），并放到另一个管状空间中，请写出transition matrix。

题解：
首先我们先画出空间大致情况应该是怎么样的。

题解：首先我们要明白这是一个马尔可夫链，理由我也用一个图来解释。
首先我们写出
( X n + 1 = j X_{n+1}=j Xn+1=j| X n = i n X_{n}=i_{n} Xn=in, X n − 1 = i n − 1 X_{n-1=i_{n-1}} Xn−1=in−1,… , X 0 = i 0 ,X_0=i_0 ,X0=i0)=( X n + 1 = j X_{n+1}=j Xn+1=j| X n = i n X_{n}=i_{n} Xn=in)
这里要明白，左边在N次随机过程以后，第N+1次中左边的管状物中的球的数量只跟第N次中左边的管状物中的球的数量有关，且只有两种情况：

( X n + 1 = i + 1 X_{n+1}=i+1 Xn+1=i+1| X n = i n X_{n}=i_{n} Xn=in)= N − i n N \frac{N-i_n}{N} NN−in
( X n + 1 = i − 1 X_{n+1}=i-1 Xn+1=i−1| X n = i n X_{n}=i_{n} Xn=in)= i n N \frac{i_n}{N} Nin
从而很容易证明出其为马尔可夫链。则transition matrix也非常容易写，我就不继续详细写了。（有点懒）

2. 现在会会介绍下基本的几个马尔可夫的性质

首先在这里给大家补充一个law of total probability(LTP)

这是conditional probability，如果没有概率论基础的，还是得去补充一些概率论基础。

那么第一个介绍的马尔可夫的重要性质及其证明as follows：

这个性质非常的重要，以后基本每个案例都会用的到。

马尔可夫第二个重要性质及其证明as follows：

而最重要的查普曼-科莫高洛夫方程的证明方法和结论我都在下面的图片中进行了论述。

今天的证明内容非常重要，大家一定要进行认真仔细的学习，下一篇我会介绍如何使用这些性质，和马尔可夫的另外一些重要的性质。