文章目录

1.前言
2.马尔可夫链简介
- 2.1 M/G/1队列例子
- 2.2 G/M/1队列例子
- 2.3 独立同分布的随机变量求和
- 2.4 简单随机游走的位移绝对值
3.CK方程与状态的类别
- 3.1 Chapman-Kolmogorov方程
- 3.2 状态分类和可交互性
- 3.3 瞬态和常返
- 3.3.1 有限状态集至少存在一个常返状态
- 3.3.2 瞬态和常返是类的性质
- 3.3.3 常返的同类不同状态间的转移概率
- 3.3.4 马尔科夫链与更新过程的关系
4.极限理论
- 4.1 正常返和零常返
- 4.1.1 正常返和零常返是类的属性
- 4.1.2 平稳的马尔科夫链
- 4.1.3 不可约马尔科夫链平稳概率的求法
- 4.2与极限理论有关的例题
5.类间转移和赌徒破产问题
- 5.1 一类常返状态是封闭的
- 5.2 马尔科夫链状态转移过程
- 5.3 赌徒破产问题
6 课后习题
7 后记

1.前言

如约开始更新第四章——马尔科夫链。首先提醒一下想学机器学习那边的马尔科夫链，隐式马尔科夫链（HMM）的同学们绕行，这里不讲这些应用，我们只谈数学。
老师上课的时候说，这一章是最难的…我呢，只感觉上课听得有点迷糊，但是课后看看书，大致也能看得差不多。就是现在这个内容上了一个月了，经常忘了前边讲了什么了，所以我得写博客开始复习了：）
上网课时间过的还真快，3/4就过完了。

2.马尔可夫链简介

考虑一个随机过程{Xn,n=0,1,2,...}\{X_n,n=0,1,2,...\}{Xn,n=0,1,2,...}中，所有时刻的随机变量XnX_nXn的值都在一个有限或者可数的集合中选取。比方说本章节，默认所有的XnX_nXn取值都为非负整数集{0,1,2,...}\{0,1,2,...\}{0,1,2,...}。如果Xn=iX_n=iXn=i，我们就说该过程在第n步处于状态i。我们再假设，不论何时处于状态i，下一步转移到状态j的概率PijP_{ij}Pij都是固定的。用公式写出来，就是这样：
Pij=P[Xn+1=j∣Xn=i]=P[Xn+1=j∣Xn=i,Xn−1=in−1,Xn−2=in−2,...,X0=i0]P_{ij}=P[X_{n+1}=j|X_n=i]=P[X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},X_{n-2}=i_{n-2},...,X_0=i_0]Pij=P[Xn+1=j∣Xn=i]=P[Xn+1=j∣Xn=i,Xn−1=in−1,Xn−2=in−2,...,X0=i0]
用更通俗一点的话说，就是下一个状态的转移概率只由当前状态决定。
举个例子，比方说，今天是5.10号，那么明天是几号？当然是5.11号！只要我知道了今天是几号，那么前天、大前天包括再之前是几号我全不知道，就能推测出明天是5.12号。肯定有同学觉得，这不是废话嘛！但是假如我说今天是2.28号，那明天是几号？不太严谨地说，明天有3/4的概率转移到3.1号，有1/4概率转移到2.29号。
当然，这个例子不是特别特别好，因为我知道前天是几号，我也知道明天是几号啊！但是马尔可夫链的基本性质，这个例子还是满足的，只不过规律性比马尔科夫链还强。
考虑到PijP_{ij}Pij表示从i转移到j的概率，而且i下一时刻一定会转移到某个状态，所以它有下面这几个性质
Pij≥0,i,j≥0,Σj=0∞Pij=1P_{ij}\geq0,\ \ \ \ \ \ i,j\geq0,\ \ \ \ \ \ \Sigma_{j=0}^\infty P_{ij}=1Pij≥0, i,j≥0, Σj=0∞Pij=1
同时，我们可以用一个矩阵PPP表示一步转移概率，矩阵i行j列的元素就是PijP_{ij}Pij。同时我们也有Pn,PijnP^n,P_{ij}^nPn,Pijn表示多步的转移概率。
接下来书上有四个十分恶心的例子，如果懒得关注呢，就跳到后面吧。

2.1 M/G/1队列例子

Example 4.1A 假设顾客到达某个服务台的人数服从参数λ\lambdaλ的泊松过程，且该服务台只有一个服务员。如果进入服务台时，有人正在接受服务，那么就需要排队。每位顾客的服务时间都遵循独立的分布G，且G独立于顾客到来的过程。
这种排队情况被称为M/G/1，M代表顾客到达的间隔时服从指数分布，G表示服务时间是一个任意分布，1表示只有一个服务员。
在第n位顾客离开时，我们用XnX_nXn表示队列里还剩下的人（不包括刚走的这位）。同时，我们用YnY_nYn表示在第n+1位顾客被服务时，到达的顾客数。这样，我们可以求出{Xn}\{X_n\}{Xn}是一个马尔可夫过程，以及它的转移概率：

当前顾客离开，如果队列里还有XnX_nXn人且Xn>0X_n>0Xn>0，那么当这位顾客开始被服务，背后只剩下Xn−1X_n-1Xn−1人了。在他被服务期间，还来了YnY_nYn人，所以我们可以计算出他离开时队列里剩下的人数。同样，当前顾客离开时队列空了，那么下一位顾客来时直接被服务，身后也没有人，他走后队列里剩下的人数就等同于他被服务时来的人数。这样我们可以写出如下的递推关系式：
Xn+1={Xn−1+Yn，Xn>0Yn，Xn=0X_{n+1}=\begin{cases} X_n-1+Y_n ，X_n>0\\ Y_n，X_n=0 \end{cases} Xn+1={Xn−1+Yn，Xn>0Yn，Xn=0
接下来，我们只要计算出YnY_nYn的分布，就可以计算转移概率了！计算方法就是对联合概率概率进行积分。而由于计数过程和服务时间是相互独立的，所以联合概率就等于他们俩概率相乘。泊松过程的计数概率是在泊松过程那一章就已经给出了。
P[Yn=j]=∫0∞P[N(x)=j]P[服务时间=x]dx=∫0∞(λx)j/j!×e−λxdG(x)P[Y_n=j]=\int_0^\infty P[N(x)=j]P[服务时间=x]dx=\int_0^\infty (\lambda x)^j/j!\times e^{-\lambda x}dG(x)P[Yn=j]=∫0∞P[N(x)=j]P[服务时间=x]dx=∫0∞(λx)j/j!×e−λxdG(x)
那么，我们根据上面的递推式子，就知道：Xn>0X_n>0Xn>0时，从状态iii转移到状态jjj且i>0,j≥i−1i>0,j\geq i-1i>0,j≥i−1，那么Yn=1−i+jY_n=1-i+jYn=1−i+j。当Xn=0X_n=0Xn=0时，从状态iii转移到状态jjj，那么Yn=jY_n=jYn=j。因此就可以求出对应的转移概率了：
P0j=P[Yn=j]P_{0j}=P[Y_n=j]P0j=P[Yn=j]
Pij=P[Yn=1−i+j],i>0,j≥i−1P_{ij}=P[Y_n=1-i+j],\ \ \ \ \ \ \ \ \ \ i>0,j\geq i-1Pij=P[Yn=1−i+j], i>0,j≥i−1
其他情况，概率都为0.

2.2 G/M/1队列例子

这个例子和上面很类似，只不过为了利用泊松过程计算计数概率的优势，我们定义一个略有差别的马尔科夫链。

Example 4.1B 假设顾客到达某个服务台的人数服从间隔时分布为G的更新过程。每位顾客的服务时间都遵循参数为μ\muμ的指数分布，且服务时间分布独立于顾客到来的过程。
这种排队情况被称为G/M/1，意义同上一题。
在第n位顾客到来时，我们用XnX_nXn表示此时队列里的人数（不包括刚来的这位，但是包括正在接受服务的人）。同时，我们用YnY_nYn表示在第n位和第n+1顾客到达之间，离开的顾客数。这样，我们可以求出{Xn}\{X_n\}{Xn}是一个马尔可夫过程，以及它的转移概率：

有了第一个例题的铺垫，这个就很好算了。首先还是算YnY_nYn的分布：
P[Yn=j]=∫0∞P[N(x)=j]P[n+1位顾客到达的间隔时=x]dx=∫0∞(μx)j/j!×e−μxdG(x)P[Y_n=j]=\int_0^\infty P[N(x)=j]P[n+1位顾客到达的间隔时=x]dx=\int_0^\infty (\mu x)^j/j!\times e^{-\mu x}dG(x)P[Yn=j]=∫0∞P[N(x)=j]P[n+1位顾客到达的间隔时=x]dx=∫0∞(μx)j/j!×e−μxdG(x)
当下一位顾客到来时，看到队列非空，也就是下一状态非零时的转移概率为
Pij=P[Yn=i+1−j],1+i≥j>0P_{ij}=P[Y_n=i+1-j],\ \ \ \ \ 1+i\geq j>0Pij=P[Yn=i+1−j], 1+i≥j>0
但是如果下一位顾客到来时，看到队列是空的，那这个情况就有点特殊了。这说明，在这段时间内，服务员服务完了i+1i+1i+1个人。但是很有可能是提前服务完了这么多人，也就是说，从泊松过程的角度看，这i+1i+1i+1个人的到达时是小于等于下一位顾客的到达时的。即：
i+1位顾客离开的到达时Si+1≤第n+1位顾客到达的间隔时t<=>N(t)≥i+1i+1位顾客离开的到达时S_{i+1}\leq 第n+1位顾客到达的间隔时t<=>N(t)\geq i+1i+1位顾客离开的到达时Si+1≤第n+1位顾客到达的间隔时t<=>N(t)≥i+1
这个想通了之后，就很好求这个概率了。
Pi0=P[N(t)≥i+1]=Σj=i+1∞P[Yn=j],1+i≥j>0P_{i0}=P[N(t)\geq i+1]=\Sigma_{j=i+1}^\infty P[Y_n=j],\ \ \ \ \ 1+i\geq j>0Pi0=P[N(t)≥i+1]=Σj=i+1∞P[Yn=j], 1+i≥j>0
书上有这么一句话：这两个例子所选择的时间点，是利用了指数分布的无记忆性。我一开始把这句话打了个问号，但是现在我理解了。我们可以看到这两个例子所选取的观察时间点，一个是顾客离开的时候，一个是顾客到达的时候，都是为了充分利用之前所学的泊松计数过程的计数概率。这样，我们可以直接写出n位顾客在t时间内到达的概率分布，如果换成别的分布，就很难求解了。

2.3 独立同分布的随机变量求和

如果定义独立同分布的一系列变量分布为：
P[Xi=j]=aj,j=0,±1,±2,...P[X_i=j]=a_j,j=0,\pm1,\pm2,...P[Xi=j]=aj,j=0,±1,±2,...
然后我们定义它们的和：
S0=0,Sn=Σ0nXiS_0=0,S_n=\Sigma_0^n X_iS0=0,Sn=Σ0nXi
那么可以看到，{Sn}\{S_n\}{Sn}是一个马尔可夫链，因为
Pij=P[X=j−i]P_{ij}=P[X=j-i]Pij=P[X=j−i]
{Sn},n≥0\{S_n\},n\geq0{Sn},n≥0被称为随机游走。可以想象，在一维空间中，某个质点在每个时间点可能向左或者向右走几步，那么我们把它的位置看作一个随机过程，那么这是一个马尔科夫链。下一位置等于当前位置加上这次的位移，就等于下一次的位置。

2.4 简单随机游走的位移绝对值

上一个例子介绍了随机游走，前几章说过简单随机游走，也就是每次只会向左或者向右走一个单位长度。现在我们假定向左走（-1）的概率为p，向右走（+1）的概率为q=1-p。现在我们定义其位移的绝对值∣Sn∣|S_n|∣Sn∣，接下来的计算表明它也是一个马尔可夫链。首先，我们先计算一个前提概率：

如果{Sn},n≥0\{S_n\},n\geq0{Sn},n≥0是一个简单随机游走，那么
P[Sn=i∣∣Sn∣=i,∣Sn−1∣=in−1,...,∣S1∣=i1]=qi/(pi+qi)P[S_n=i||S_n|=i,|S_{n-1}|=i_{n-1},...,|S_{1}|=i_{1}]=q^i/(p^i+q^i)P[Sn=i∣∣Sn∣=i,∣Sn−1∣=in−1,...,∣S1∣=i1]=qi/(pi+qi)
也就是说，给定当前位移的绝对值，那么处于正半轴和半轴的概率我们是可以确定的。

证明：我们取最近一次过零点的时刻j，有Sj=0S_j=0Sj=0。那么我们可以计算出，j之后，如果i为正，那么质点向正半轴走了(n−j+i)/2(n-j+i)/2(n−j+i)/2次，向负半轴走了(n−j−i)/2(n-j-i)/2(n−j−i)/2次。所以处于正半轴的概率为：
C×p(n−j−i)/2q(n−j+i)/2C\times p^{(n-j-i)/2}q^{(n-j+i)/2}C×p(n−j−i)/2q(n−j+i)/2
书上是没有这个常数C的，但是我这里乘了这个常数。因为我觉得这个过程肯定是有一定的顺序要求的，不然质点可能就先跑回原点了，但是又不需要严格地先往一个方向走到底，再往另一个方向走到底。所以这个概率肯定前面有个常数，但是这个常数会小于Cn−jiC_{n-j}^iCn−ji。同理，我们有它处于负半轴的概率，只需把pq对调即可，常数C不用变，因为这两个过程肯定是高度相似的。
C×q(n−j−i)/2p(n−j+i)/2C\times q^{(n-j-i)/2}p^{(n-j+i)/2}C×q(n−j−i)/2p(n−j+i)/2
既然有了这个概率，我们就能计算出题中所求的概率：
P[...]=P[Sn=i∣∣Sn∣=i,∣Sn−1∣=in−1,...,∣Sj∣=0]=C×p(n−j−i)/2q(n−j+i)/2C×p(n−j−i)/2q(n−j+i)/2+C×q(n−j−i)/2p(n−j+i)/2P[...]=P[S_n=i||S_n|=i,|S_{n-1}|=i_{n-1},...,|S_{j}|=0]=\frac{C\times p^{(n-j-i)/2}q^{(n-j+i)/2}}{C\times p^{(n-j-i)/2}q^{(n-j+i)/2}+C\times q^{(n-j-i)/2}p^{(n-j+i)/2}}P[...]=P[Sn=i∣∣Sn∣=i,∣Sn−1∣=in−1,...,∣Sj∣=0]=C×p(n−j−i)/2q(n−j+i)/2+C×q(n−j−i)/2p(n−j+i)/2C×p(n−j−i)/2q(n−j+i)/2
上下约去C，同除p(n−j)/2q(n−j)/2p^{(n-j)/2}q^{(n-j)/2}p(n−j)/2q(n−j)/2，同乘pi/2qi/2p^{i/2}q^{i/2}pi/2qi/2，证明完毕。
接下来我们要证明∣Sn∣|S_n|∣Sn∣是一个马尔可夫过程。那么我们计算出，如果上一步绝对值为i，那么可能他在+i处，如果正向走一步，下一步会在i+1处；如果它在-i处，反向走一步，下一步会在-i-1处，绝对值也是i+1。下一步绝对值为i-1也是同理的：
P[∣Sn+1∣=i+1∣∣Sn∣=i,...,∣S1∣=i1]=P[Sn=i∣∣Sn∣=i]×q+P[Sn=−i∣∣Sn∣=i]×p=qi/(pi+qi)×q+pi/(pi+qi)×p=(qi+1+pi+1)/(pi+qi)\begin{aligned}\\ P[|S_{n+1}|=i+1||S_n|=i,...,|S_{1}|=i_{1}] &=P[S_n=i||S_n|=i]\times q+P[S_n=-i||S_n|=i]\times p \\ &=q^i/(p^i+q^i)\times q+p^i/(p^i+q^i)\times p\\ &=(q^{i+1}+p^{i+1})/(p^i+q^i) \end{aligned} P[∣Sn+1∣=i+1∣∣Sn∣=i,...,∣S1∣=i1]=P[Sn=i∣∣Sn∣=i]×q+P[Sn=−i∣∣Sn∣=i]×p=qi/(pi+qi)×q+pi/(pi+qi)×p=(qi+1+pi+1)/(pi+qi)
因此P[∣Sn+1∣=i+1∣∣Sn∣=i,...,∣S1∣=i1]=P[∣Sn+1∣=i+1∣∣Sn∣=i]P[|S_{n+1}|=i+1||S_n|=i,...,|S_{1}|=i_{1}]=P[|S_{n+1}|=i+1||S_n|=i]P[∣Sn+1∣=i+1∣∣Sn∣=i,...,∣S1∣=i1]=P[∣Sn+1∣=i+1∣∣Sn∣=i]，下一状态的转移概率只由当前状态决定，即随机游走的绝对值也是一个马尔科夫链。需要指出的是，P01=1P_{01}=1P01=1.带进去计算发现应该是1，为啥差两倍呢？因为0不可能转移到-1.

3.CK方程与状态的类别

3.1 Chapman-Kolmogorov方程

以下简称为CK方程。
我们先定义多步转移概率
Pijn=P[Xn+m=j∣Xm=i]P_{ij}^n=P[X_{n+m}=j|X_m=i]Pijn=P[Xn+m=j∣Xm=i]
同时我们可以简写将一步转移概率的上标拿掉，也就是Pij1=PijP_{ij}^1=P_{ij}Pij1=Pij。CK方程很好理解，如果我们在n+m步中插入一个中间状态k，那么
Pijm+n=Σk=0∞PiknPkjmP_{ij}^{m+n}=\Sigma_{k=0}^\infty P_{ik}^nP_{kj}^mPijm+n=Σk=0∞PiknPkjm
m+n步从i转移到j的概率，就等于先通过m步到达的所有可能中间状态k，再从k出发经过n步转移到j状态的概率求和。很直观。
接下来，我们可以看到，利用CK方程，可以通过概率转移矩阵相乘计算多步转移的概率转移矩阵：
P(m+n)=P(m)P(n)=PP...PP(m+n个P相乘)P^{(m+n)}=P^{(m)}P^{(n)}=PP...PP(m+n个P相乘)P(m+n)=P(m)P(n)=PP...PP(m+n个P相乘)
我们可以验算其中某一个位置的元素aija_{ij}aij，这里假设第一列表示状态0转移到其它状态的概率。
aij=Pr(i)(m)Pc(j)(n)=Σc=1∞PicnPcjma_{ij}=P^{(m)}_{r(i)}P^{(n)}_{c(j)}=\Sigma_{c=1}^\infty P_{ic}^nP_{cj}^maij=Pr(i)(m)Pc(j)(n)=Σc=1∞PicnPcjm

3.2 状态分类和可交互性

如果∃n≥0,Pijn>0\exist n\geq0,P_{ij}^n>0∃n≥0,Pijn>0，即i可以访问j，那我们说状态j可以从状态i出发被访问到。如果i和j可以相互访问，那么我们说i和j状态是可交互的，记作i↔ji\leftrightarrow ji↔j
可交互性是对等的性质，有如下三个性质：
i)i↔ii\leftrightarrow ii↔i
ii)i↔j=>j↔ii\leftrightarrow j=>j\leftrightarrow ii↔j=>j↔i
iii)i↔k,k↔j=>i↔ji\leftrightarrow k,k\leftrightarrow j=>i\leftrightarrow ji↔k,k↔j=>i↔j
可交互的两类，也被称为属于同一类。如果马尔科夫链只有一类，我们称它为不可约的。
当PiinP_{ii}^nPiin在n不能被d整除时一定为零，同时d是具有这个性质的数中最大的一个。那么我们称状态i具有周期d。如果d=1，我们称之为非周期的。

周期是类的性质，即i↔j<=>d(i)=d(j)i\leftrightarrow j<=>d(i)=d(j)i↔j<=>d(i)=d(j)
证明：找到m，n使得PijmPjin>0P_{ij}^mP_{ji}^n>0PijmPjin>0，并且找到某个s使得Piis>0P_{ii}^s>0Piis>0，那么我们有：
Pjjm+n≥PjinPijm>0P_{jj}^{m+n}\geq P_{ji}^nP_{ij}^m>0Pjjm+n≥PjinPijm>0且Pjjm+s+n≥PjinPiisPijm>0P_{jj}^{m+s+n}\geq P_{ji}^nP_{ii}^sP_{ij}^m>0Pjjm+s+n≥PjinPiisPijm>0
这说明，m+n和m+n+s都可以被d(j)整除，隐含着说明了s可以被d(j)整除。满足Piis>0P_{ii}^s>0Piis>0的s=kd(i)都具有这个性质，所以d(i)能被d(j)整除。同时把i,j对调，可以得出d(j)能被d(i)整除，因此d(j)=d(i)

3.3 瞬态和常返

我们定义fijnf_{ij}^nfijn为从状态i出发，在第n步第一次到达j的概率。即
fij0=0fijn=P[Xn=j,Xk≠j,k=1,2,...,n−1∣X0=i]\begin{aligned}\\ &f_{ij}^0=0\\&f_{ij}^n=P[X_n=j,X_k\neq j,k=1,2,...,n-1|X_0=i] \end{aligned} fij0=0fijn=P[Xn=j,Xk=j,k=1,2,...,n−1∣X0=i]
我们再定义一个概率：
fij=Σn=1∞fijnf_{ij}=\Sigma_{n=1}^\infty f_{ij}^nfij=Σn=1∞fijn
这个概率表示从i出发，能到达j的概率。如果fii=1f_{ii}=1fii=1，则称状态i是常返的，否则称之为瞬态的。
这两个性质是啥意思呢？常返表明从状态i出发，可以无限次地回到状态j；瞬态表明会有一定概率永远也无法回到状态i了。

状态i为常返的，当且仅当Σn=1∞Piin=∞\Sigma_{n=1}^\infty P_{ii}^n=\inftyΣn=1∞Piin=∞
证明：状态i是常返的，当且仅当质点会无数次地回到状态j。即
E[回到状态j的次数∣X0=i]=∞E[回到状态j的次数|X_0=i]=\inftyE[回到状态j的次数∣X0=i]=∞
我们用InI_nIn表示质点第n步是否处于状态i，若处于则为1，否则为0.那么
E[回到状态j的次数∣X0=i]=E[Σn=1∞In∣X0=j]=Σn=1∞Piin=∞E[回到状态j的次数|X_0=i]=E[\Sigma_{n=1}^\infty I_{n}|X_0=j]=\Sigma_{n=1}^\infty P_{ii}^n=\inftyE[回到状态j的次数∣X0=i]=E[Σn=1∞In∣X0=j]=Σn=1∞Piin=∞
证毕。最后一个等式利用期望的线性性即可。

3.3.1 有限状态集至少存在一个常返状态

从反面来看，瞬态的状态只会被访问有限次。同时我们还有如下的结论：
在有限状态集合的马尔科夫链中，至少存在一个常返的状态。否则如果所有状态都是瞬态的，状态1在某次被访问后就不能被访问了，那么只能访问剩下的n-1个状态，状态而如果又死了，那只能访问剩下的n-2个状态，。。。，到最后只剩一个状态，如果它也死了，那下一个状态就不存在了，这和马尔科夫链的定义是矛盾的。

3.3.2 瞬态和常返是类的性质

证明：假设状态j为常返，又由于i可以访问j，所以我们找到一组m，n，s，使得Pijm>0,Pjin>0,Pjjs>0P_{ij}^m>0,P_{ji}^n>0,P_{jj}^s>0Pijm>0,Pjin>0,Pjjs>0
那么我们有
Piim+s+n≥PijmPjjsPjin=>Σs=1∞Piim+s+n≥Σs=1∞PijmPjjsPjin=PjinPijmΣs=1∞Pjjs=∞P_{ii}^{m+s+n}\geq P_{ij}^m P_{jj}^s P_{ji}^n=> \Sigma_{s=1}^\infty P_{ii}^{m+s+n}\geq \Sigma_{s=1}^\infty P_{ij}^m P_{jj}^s P_{ji}^n= P_{ji}^n P_{ij}^m \Sigma_{s=1}^\infty P_{jj}^s =\inftyPiim+s+n≥PijmPjjsPjin=>Σs=1∞Piim+s+n≥Σs=1∞PijmPjjsPjin=PjinPijmΣs=1∞Pjjs=∞
倒数第二个等号是由于PijmPjin>0P_{ij}^m P_{ji}^n>0PijmPjin>0，一个大于0的常数乘以无穷也等于无穷

Example 4.2A 简单随机游走：显然，简单随机游走中，每个状态都是可以相互访问的。那么我们想知道，这些状态都是瞬态还是都是常返的。简单起见，我们只需要考虑状态0：原点即可。我们设往正半轴方向走的概率为p。首先，奇数次游走是不可能回到原点的。然后根据排列组合，我们可以计算出：
P002n=C2nnpn(1−p)nP_{00}^{2n}=C_{2n}^n p^n(1-p)^nP002n=C2nnpn(1−p)n
我们利用Stirling公式对n!进行逼近。当然，这指的是n很大的时候：n!∼nn+1/2e−n2πn!\sim n^{n+1/2}e^{-n}\sqrt{2\pi}n!∼nn+1/2e−n2π
然后我们把排列组合展开，一顿操作化简，得到
P002n∼(4p(1−p))n/πnP_{00}^{2n}\sim (4p(1-p))^n/\sqrt{\pi n}P002n∼(4p(1−p))n/πn
然后我们对它求和：Σn=1∞P002n\Sigma_{n=1}^\infty P_{00}^{2n}Σn=1∞P002n收敛，当且仅当它的余项收敛。可以明显看出来，p=1/2时分子取最大值1，而分母是n\sqrt{ n}n，余项和发散。而其他情况下，余项是收敛的。
所以p=1/2时，游走是常返的，否则游走是瞬态的。p=1/2的随机游走称为对称简单随机游走。
额外说明：一维和二维的对称简单随机游走都是常返的，但是三维及以上则不是。

3.3.3 常返的同类不同状态间的转移概率

如果状态i，j同类且常返，那么fij=1f_{ij}=1fij=1
这个结论是显然的。i和j互通，i常返，那么从i出发一定有概率到达j。如果第一次没到j，那返回i之后，又开始一轮新的过程，总有那么一次能到达状态j的。如果采用计算的方法说明，则是：
找到一个n使得Pijn>0P_{ij}^n>0Pijn>0，一次轮回的第n步不经过j的概率为1−Pijn1-P_{ij}^n1−Pijn。到达状态j时经过的期望轮回次数为1/Pijn1/P_{ij}^n1/Pijn。显然这是一个有穷的次数，说明通过有限步数一定能从i转移到j状态。为什么？因为但凡无穷的概率非零，其期望肯定是无穷！

3.3.4 马尔科夫链与更新过程的关系

从上一小节可以看到，如果状态是常返的，那么每次返回经过的步数一定是有限的，那我们不是可以定义一个更新过程来描述它吗！可以简单的计算出，这个更新过程的间隔时分布{fiin,n≥1}\{f_{ii}^n,n\geq1\}{fiin,n≥1}
如果起始状态不是i而是j，那么定义的更新过程就是一个延迟更新过程，其第一次更新的间隔时分布为{fjin,n≥1}\{f_{ji}^n,n\geq1\}{fjin,n≥1}，其它更新的间隔时分布还是{fiin,n≥1}\{f_{ii}^n,n\geq1\}{fiin,n≥1}

4.极限理论

在更新过程中，我们接触过很多极限理论。这一节所说的极限理论，也是为了续上刚刚说的马尔可夫链与更新过程的关系。
在更新过程中，一个很重要参数是μ\muμ，也就是更新过程间隔时的期望。考虑到马尔科夫链的性质，我们把它写作μjj\mu_{jj}μjj，也就是回到状态j的期望步数。它可以这么计算得到：
μjj={∞，如果状态j是瞬态Σn=1∞nfjjn，如果状态j常返\mu_{jj}=\begin{cases} \infty，如果状态j是瞬态\\ \Sigma_{n=1}^\infty nf_{jj}^n，如果状态j常返 \end{cases} μjj={∞，如果状态j是瞬态Σn=1∞nfjjn，如果状态j常返
接下来，我们直接把更新过程中的一些结论拿来用，在把返回j看作更新过程的前提下，可以得到：
如果i和j同类，则
i)P[lim⁡t→∞Nj(t)/t=1/μjj∣X0=i]=1P[\lim_{t\to\infty}N_j(t)/t=1/\mu_{jj}|X_0=i]=1P[limt→∞Nj(t)/t=1/μjj∣X0=i]=1
ii)P[lim⁡n→∞Σk=1nPijk/n=lim⁡n→∞E[Nj(n)/n]=1/μjjP[\lim_{n\to\infty}\Sigma_{k=1}^n P_{ij}^k/n= \lim_{n\to\infty} E[N_j(n)/n]= 1/\mu_{jj}P[limn→∞Σk=1nPijk/n=limn→∞E[Nj(n)/n]=1/μjj
iii)如果j是非周期的，则lim⁡n→∞Pijn=1/μjj\lim_{n\to\infty} P_{ij}^n=1/\mu_{jj}limn→∞Pijn=1/μjj
iv)如果j周期为d，则lim⁡n→∞Pjjnd=d/μjj\lim_{n\to\infty} P_{jj}^{nd}=d/\mu_{jj}limn→∞Pjjnd=d/μjj

4.1 正常返和零常返

我们针对回到j的步数期望μjj\mu_{jj}μjj是否是无穷，可以将常返的状态分为正常返和零常返两种。如果期望是无穷，则称为零常返；反之，称之为正常返。
这里有一个小问题，我当时也曾困惑过，都已经常返了，怎么还能期望是无穷呢？这个我曾经在之前的文章里解释过，这是点收敛和积分收敛的区别。常返表示的是，无穷步才能返回（或者干脆说不能返回）的概率是0，换句话说，有限步返回的概率为1.我们可以举一个例子来说明这两件事确实是不等价的：
我们取fjjn=1/[n(n+1)]=1/n−1/(n+1)f_{jj}^n=1/[n(n+1)]=1/n-1/(n+1)fjjn=1/[n(n+1)]=1/n−1/(n+1)，通过初高中所学知识进行裂项，再求和，可以得到
fjj=Σn=1∞fjjn=1−1/(n+1)f_{jj}=\Sigma_{n=1}^\infty f_{jj}^n=1-1/(n+1)fjj=Σn=1∞fjjn=1−1/(n+1)
极限为1，也就是有限步返回的概率为1.但是如果对它求步数期望，则μjj=Σn=1∞nfjjn=Σn=1∞1/(n+1)\mu_{jj}=\Sigma_{n=1}^\infty n f_{jj}^n=\Sigma_{n=1}^\infty1/(n+1)μjj=Σn=1∞nfjjn=Σn=1∞1/(n+1)
我们都知道这个求和是发散的。所以这两个概率肯定是不等价的。但是我们把fjjnf_{jj}^nfjjn的分布的分母上做点手脚，乘一个指数分布得到fjjn=(e−1)/[n(n+1)en]=1/(nen−1)−1/((n+1)en)f_{jj}^n=(e-1)/[n(n+1)e^{n}]=1/(ne^{n-1})-1/((n+1)e^{n})fjjn=(e−1)/[n(n+1)en]=1/(nen−1)−1/((n+1)en)，容易验证
fjj=Σn=1∞fjjn=1−1/[(n+1)en]f_{jj}=\Sigma_{n=1}^\infty f_{jj}^n=1-1/[(n+1)e^{n}]fjj=Σn=1∞fjjn=1−1/[(n+1)en]
极限也为0.但是很明显μjj\mu_{jj}μjj这回是收敛的了。
μjj=Σn=1∞nfjjn=Σn=1∞(e−1)/[(n+1)en]\mu_{jj}=\Sigma_{n=1}^\infty n f_{jj}^n=\Sigma_{n=1}^\infty(e-1)/[(n+1)e^{n}]μjj=Σn=1∞nfjjn=Σn=1∞(e−1)/[(n+1)en]
当然我们还可以简单地令
fjjn={1,n=10,othersf_{jj}^n=\begin{cases} 1,n=1\\ 0,others \end{cases}fjjn={1,n=10,others
这样期望也是有界的。
这里说了这么多，就是想强调点收敛和积分收敛是不一样的，对于本章节来说，是要强调虽然期望都是无穷，但是瞬态的和零常返并不是一个意思！！而且是完全不同的意思，没有丝毫交集！！
同时我们再定义一个符号πj=lim⁡n→∞Pjjnd(j)\pi_j=\lim_{n\to\infty} P_{jj}^{nd(j)}πj=limn→∞Pjjnd(j)
联系上面的一堆极限，可以知道如果πj>0\pi_j>0πj>0则是正常返的，如果πj=0\pi_j=0πj=0则是零常返的，这个符号就和名字是对应的了。

4.1.1 正常返和零常返是类的属性

我们从πj\pi_jπj出发证明这个定理。我们规划一个过程，使得质点从i出发经过m步到达j，再在j处循环s次后，经过n步回到i。假设πi>0\pi_i>0πi>0：
πi=lim⁡n→∞Piind(i)=lim⁡s→∞Pii(m+s+n)d(i)≥lim⁡s→∞PijmPjjsPjin=PijmPjinπj>0\pi_i=\lim_{n\to\infty} P_{ii}^{nd(i)} =\lim_{s\to\infty} P_{ii}^{(m+s+n)d(i)} \geq \lim_{s\to\infty}P_{ij}^m P_{jj}^s P_{ji}^n =P_{ij}^m P_{ji}^n \pi_j>0πi=n→∞limPiind(i)=s→∞limPii(m+s+n)d(i)≥s→∞limPijmPjjsPjin=PijmPjinπj>0
同理我们可以得到，当πj>0\pi_j>0πj>0时，πi>0\pi_i>0πi>0。因此证明了命题。

4.1.2 平稳的马尔科夫链

如果我们称概率Pj,j≥0P_j,j\geq0Pj,j≥0对于马尔科夫链来说是平稳的，那么它具有如下性质：
Pj=Σi=1∞PiPijP_j=\Sigma_{i=1}^\infty P_iP_{ij}Pj=Σi=1∞PiPij
如果用矩阵和向量来表示的话：
[P1,P2,...,]=[P1,P2,...,]P[P_1,P_2,...,]=[P_1,P_2,...,]P[P1,P2,...,]=[P1,P2,...,]P
那么它有什么意义呢？假设我们的初始状态的状态分布选为P[X0=j]=PjP[X_0=j]=P_jP[X0=j]=Pj，那经过一次状态转移后，可以得到P[X1=j]=PjP[X_1=j]=P_jP[X1=j]=Pj，如此迭代下去，我们可以得到每一步的状态分布都是相同的！
这也就是它为什么称为平稳概率的原因，在泊松过程、更新过程中我们说到的平稳性就是指，每一次更新过程的间隔时都是独立同分布的。因此在这儿，马尔科夫链的平稳性就是指每一步的状态分布都是独立同分布的！

4.1.3 不可约马尔科夫链平稳概率的求法

平稳性是个好东西啊，但是应该怎么求出这个平稳分布的概率呢？用定义解算好像有点麻烦，下面的定理给出了一种针对不可约（只有一类）的马尔科夫链的平稳概率的求法。在这里我们才知道为什么它要定义这么多奇奇怪怪的符号了。

一个非周期不可约的马尔可夫链只可能属于如下两类：
i)所有状态都是瞬态的，或者所有状态都是零常返的，在这种情况下，n→∞,Pijn→0n\to\infty,P_{ij}^n\to0n→∞,Pijn→0，不存在平稳分布。
ii)所有的状态都是正常返的，那么一定存在Pj=πj=lim⁡n→∞Pijn,j≥0P_j=\pi_j=\lim_{n\to\infty} P_{ij}^{n},j\geq0Pj=πj=limn→∞Pijn,j≥0是其唯一的平稳分布。

定理的第(ii)部分的证明我懒得抄上来了。针对第(i)部分，我们可以通过平稳性的定义Pj=Σi=1∞PiPijP_j=\Sigma_{i=1}^\infty P_iP_{ij}Pj=Σi=1∞PiPij看到，在n→∞n\to\inftyn→∞时Pijn→0P_{ij}^n\to0Pijn→0，那么Pj=Σi=1∞PiPij∞=Σi=1∞Piπj=0P_j=\Sigma_{i=1}^\infty P_iP_{ij}^\infty=\Sigma_{i=1}^\infty P_i\pi_j=0Pj=Σi=1∞PiPij∞=Σi=1∞Piπj=0，那么初始概率也全都是0，这是明显不可能的。
接下来我们讨论几个性质：
i)正常返、非周期的马尔科夫链被称为是“遍历的”
ii)求取遍历的马尔科夫链的平稳分布，只需要把一步转移概率矩阵疯狂相乘，收敛后会发现每一行都是相等的，也就是从任意状态转移到状态j的概率都是相同的。
iii)如果是周期、正常返、不可约的情况，依然有唯一的非负解πj\pi_jπj，但是此时的πj\pi_jπj不再是更新过程中的πj=lim⁡n→∞Pjjnd(j)=d/μjj\pi_j=\lim_{n\to\infty} P_{jj}^{nd(j)}=d/\mu_{jj}πj=limn→∞Pjjnd(j)=d/μjj，而是要除以d，得到πj=1/μjj\pi_j=1/\mu_{jj}πj=1/μjj。此时的πj\pi_jπj就不再是之前的概率，而要被解释为在长时间统计中，马尔科夫链处于状态j的时间比例了。这两个的区别在于，一个是表达了只可能在周期点上取值，另一个表达了长时间运行时，平均比例是多少。就好像我们说美国1%的人占有了99%的财富，剩下99%的人只占有1%的财富，那我们干脆把零头抹掉，1%的人占有了所有财富，剩下的99%人没有财富。那么我们如果只调查有财富的人的平均财富，就发现这个均值好高好高，但是如果看看整个国家的水平呢？就发现只有原来的百分之一。

4.2与极限理论有关的例题

Example4.3D假设一个一个种群。每一个时间周期，个体死去的概率为p，且不同个体的死亡是相互独立的。同时，每个时间周期内新加入该种群的成员遵循参数λ\lambdaλ的泊松分布。如果用XnX_nXn表示第n个周期开始时种群内的个体数量，我们可以看到{Xn,n=1,2,...}\{X_n,n=1,2,...\}{Xn,n=1,2,...}是一个马尔科夫链。

求取它的平稳分布，可以先假设X0X_0X0遵循参数α\alphaα的泊松分布，那么在n=1时，我们有：
X1=X0×存活比例+新加入的个体数X_1=X_0\times存活比例+新加入的个体数X1=X0×存活比例+新加入的个体数
对两边取期望，由于平稳分布的存在，X0,X1X_0,X_1X0,X1的分布相同，因此期望相同。而死亡过程是独立于初始分布的，因此取期望可得：
α=α(1−p)+λ=>α=λ/p\alpha=\alpha(1-p)+\lambda=>\alpha=\lambda/pα=α(1−p)+λ=>α=λ/p
所以初始状态的分布遵循该参数的泊松分布，为πj=e−α(λ/p)j/j!\pi_j=e^{-\alpha}(\lambda/p)^j/j!πj=e−α(λ/p)j/j!

Example4.3F考虑两状态的马尔科夫链，P00=α=1−P01,P10=β=1−P11P_{00}=\alpha=1-P_{01},P_{10}=\beta=1-P_{11}P00=α=1−P01,P10=β=1−P11，请求出其平稳分布及μ00,μ10\mu_{00},\mu_{10}μ00,μ10

采用平稳分布的定义可以列式：
{π0=π0P00+π1P10π0+π1=1\begin{cases} \pi_0=\pi_0P_{00}+\pi_1P_{10}\\ \pi_0+\pi_1=1 \end{cases}{π0=π0P00+π1P10π0+π1=1
可以解得
π0=β/(1−α+β),(1−α)/(1−α+β)\pi_0=\beta/(1-\alpha+\beta),(1-\alpha)/(1-\alpha+\beta)π0=β/(1−α+β),(1−α)/(1−α+β)
根据1/μjj=lim⁡n→∞Pjjn=πj1/\mu_{jj}=\lim_{n\to\infty} P_{jj}^n=\pi_j1/μjj=limn→∞Pjjn=πj的定义，容易计算出μ00=1/π0\mu_{00}=1/\pi_0μ00=1/π0。再根据平稳分布的性质，Pij=PijnP_{ij}=P_{ij}^nPij=Pijn，带入到π0=π0P00+π1P10\pi_0=\pi_0P_{00}+\pi_1P_{10}π0=π0P00+π1P10中，可以计算出μ01=1/π01=lim⁡n→∞1/P01n=1/β\mu_{01}=1/\pi_{01}=\lim_{n\to\infty}1/P_{01}^n=1/\betaμ01=1/π01=limn→∞1/P01n=1/β

5.类间转移和赌徒破产问题

我们先通过总体地观察马尔科夫链如何在类间进行转移的，加深对马尔可夫链的理解。我们先引出一系列定理。

5.1 一类常返状态是封闭的

封闭的含义是，只要从别的类进入一个常返的类中，就再也无法离开这个类了。要强调一下，这里说的是，一类常返是封闭的，而不是说所有常返状态集合是封闭的。也就是说，是不可能从一类常返的状态转移到另一类常返/瞬态的状态的。
证明：假如进入常返状态A后，可以跳转到另一类的状态B，那么基于常返性，它一定会再回到状态A，但是这样一来，AB状态就是可交互的，也就属于同一类了，与AB不同类矛盾，证毕。用数学语言来表示就是：
R是一个常返类，如果i∈R,j∉R=>Pij=0R是一个常返类，如果i\in R,j\notin R=>P_{ij}=0 R是一个常返类，如果i∈R,j∈/R=>Pij=0

如果用T表示所有的瞬态类，R表示一个常返类，那么概率集合{fij,i∈T,j∈R}\{f_{ij},i\in T,j\in R\}{fij,i∈T,j∈R}满足如下等式：
fij=Σk∈TPikfkj+Σk∈RPikf_{ij}=\Sigma_{k\in T}P_{ik}f_{kj}+\Sigma_{k\in R}P_{ik}fij=Σk∈TPikfkj+Σk∈RPik
证明：fij=P[Nj(∞)>0∣X0=i]=ΣallkP[Nj(∞)>0∣X1=k]P[X1=k∣X0=i]=Σk∈TPikfkj+Σk∈RPikfkj+Σk∉T,k∉RPikfkj\begin{aligned} f_{ij}&=P[N_j(\infty)>0|X_0=i]\\ & =\Sigma_{all\ k}P[N_j(\infty)>0|X_1=k]P[X_1=k|X_0=i]\\ & =\Sigma_{k\in T}P_{ik}f_{kj}+\Sigma_{k\in R}P_{ik}f_{kj}+\Sigma_{k\notin T,k\notin R}P_{ik}f_{kj} \end{aligned} fij=P[Nj(∞)>0∣X0=i]=Σall kP[Nj(∞)>0∣X1=k]P[X1=k∣X0=i]=Σk∈TPikfkj+Σk∈RPikfkj+Σk∈/T,k∈/RPikfkj
然后我们知道对于同类的常返状态k，fkj=1f_{kj}=1fkj=1，非同类的常返状态k，fkj=0f_{kj}=0fkj=0.而瞬态类是可以随意转移到别的类的，因此命题得证。

5.2 马尔科夫链状态转移过程

到这里，我们就可以用上之前所学的知识，对一个马尔科夫链的状态转移过程进行具体的刻画。这里直接接用老师课上的板书，因为我觉得实在是太形象了！

中间的这些都是瞬态的状态类，假如过程开始于某个瞬态状态，那么它可能经过的轨迹是：在瞬态的状态中进行有限步转移后，进入某个常返状态类，然后在这个类内部转移。
说到这里，突然明白瞬态是什么意思了。瞬态状态是不能永久停留在里面的，但是常返则可以。
从图中可以看到，瞬态状态被形象的描述为了驿站，而常返状态被描述为了归宿。一开始可能经过多类瞬态状态，但是最后一定会停留在某个常返状态中。需要注意的是，如果进入了某个常返状态后，就一定不能转移到别的状态了，不论是常返还是瞬态的！

5.3 赌徒破产问题

我们设想这么一个场景：一个赌徒带着iii块钱到赌场里，玩一个类似比大小的游戏，他有p的概率赢，q的概率输。如果他赢到了N元钱，就心满意足地离开；但是如果他的赌金输光了，赌场就要让他心有不甘地离开。
我们假设每一局的赢的概率都是相互独立的。那么请问，赌徒最后赢得N元离开的概率是多少？
这是一个明显的马尔科夫链。我们先引入几个显然的概率：
P00=PNN=1P_{00}=P_{NN}=1P00=PNN=1
Pii+1=p=1−Pii−1P_{i\ i+1}=p=1-P_{i\ i-1}Pi i+1=p=1−Pi i−1
从上面的转移概率可以看出，这个马尔科夫链可以分为三类，分别是0，N，以及中间的其它状态。且0，N是常返的，中间状态是瞬态的。当然，我们肯定要假设赌徒不可能百分百赢或者输：）
我们再引入记号fi=fiNf_i=f_{iN}fi=fiN用于表示当前处于状态i（也就是有i块钱），最终能到达状态N的概率。然后我们利用一局之后的条件概率来计算这个概率：
fi=P(第一局赢了)fi+1+P(第一局输了)fi−1=pfi+1+qfi−1=pfi+1+(1−p)fi−1f_i=P(第一局赢了)f_{i+1}+P(第一局输了)f_{i-1}=pf_{i+1}+qf_{i-1}=pf_{i+1}+(1-p)f_{i-1}fi=P(第一局赢了)fi+1+P(第一局输了)fi−1=pfi+1+qfi−1=pfi+1+(1−p)fi−1
其中，i=1,2,...,N−1i=1,2,...,N-1i=1,2,...,N−1
整理之后就可以得到一个递推关系式
fi+1−fi=[fi−fi−1]q/pf_{i+1}-f_{i}=[f_i-f_{i-1}]q/pfi+1−fi=[fi−fi−1]q/p
看到这个递推式，就觉得很兴奋。首先我们有：
f1−f0=f1−0=f1=>f2−f1=f1q/p,f3−f2=(f2−f1)q/p=f1(q/p)2,...,fi+1−fi=f1(q/p)if_1-f_0=f_1-0=f_1=>f_2-f_1=f_1q/p,f_3-f_2=(f_2-f_1)q/p=f_1(q/p)^2,...,f_{i+1}-f_{i}=f_1(q/p)^if1−f0=f1−0=f1=>f2−f1=f1q/p,f3−f2=(f2−f1)q/p=f1(q/p)2,...,fi+1−fi=f1(q/p)i

这样我们就可以从i=1开始，把n-1个这样的式子累加在一起，可以得到
fn−f1=f1Σi=1n−1(q/p)i={(q/p)[1−(q/p)n−1]1−q/pf1,p≠q(n−1)f1,p=qf_n-f_1=f_1\Sigma_{i=1}^{n-1}(q/p)^i=\begin{cases} \frac{(q/p)[1-(q/p)^{n-1}]}{1-q/p}f_1,p\neq q\\ (n-1)f_1,p=q \end{cases}fn−f1=f1Σi=1n−1(q/p)i={1−q/p(q/p)[1−(q/p)n−1]f1,p=q(n−1)f1,p=q
移项得
fn={1−(q/p)n1−q/pf1,p≠qnf1,p=qf_n=\begin{cases} \frac{1-(q/p)^{n}}{1-q/p}f_1,p\neq q\\ nf_1,p=q \end{cases}fn={1−q/p1−(q/p)nf1,p=qnf1,p=q
同时我们把fN=1f_N=1fN=1带入，可以得到f1=1/Nf_1=1/Nf1=1/N
f1={1−(q/p)1−(q/p)N,p≠q1/Nf_1=\begin{cases} \frac{1-(q/p)}{1-(q/p)^N},p\neq q\\ 1/N \end{cases}f1={1−(q/p)N1−(q/p),p=q1/N
因此求出
fn={1−(q/p)n1−(q/p)Nf1,p≠qn/N,p=qf_n=\begin{cases} \frac{1-(q/p)^{n}}{1-(q/p)^N}f_1,p\neq q\\ n/N,p=q \end{cases} fn={1−(q/p)N1−(q/p)nf1,p=qn/N,p=q
计算完了这一堆公式，我们对结果进行一下分析。当N→∞N\to\inftyN→∞时，
fn→{1−(q/p)n1f1,p>1/20,p≤1/2f_n\to\begin{cases} \frac{1-(q/p)^{n}}{1}f_1,p> 1/2\\ 0,p\leq1/2 \end{cases} fn→{11−(q/p)nf1,p>1/20,p≤1/2
这就说明了赌徒的心理和现实——在正常情况下，赢得概率肯定是小于等于一半，如果贪得无厌，最终一定会输。而且很显然，本金越多，赢的概率越大——我们是说，到达某一目标N的概率更大，但是本金越多，对于同一目标N，挣的也越少了。我们都知道fN=1f_N=1fN=1，但是这还有什么赌的意义呢？去赌场做慈善吗：）

6 课后习题

暂未布置，略

7 后记

宅家的12周就这么快的过完了，这门课也要结课了。从刚开学的时候吐槽学院乱开课程，害我们非得和数学学院一起上课，还得去郊区的校区上课；到现在大家一面未见课程就结束了，觉得还是蛮快的。后续可能会根据老师开的小灶再补充一些东西，看缘分了。
到现在一共码了四篇随机过程相关的博客，每一篇都有1w多字，打公式真是打得我生无可恋，不过反正作为复习整理得一种方式，感觉还是蛮好的。这种痛苦的码字过程终于可以告一段落了。

随机过程（4）——马尔可夫链相关推荐

【随机过程】马尔可夫链(2)
[随机过程]马尔可夫链(2) 标签(空格分隔): [信号处理] 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:马尔科夫链是一个离散的马尔科夫过程,本文 ...
【随机过程】马尔可夫链(1)
[随机过程]马尔可夫链标签(空格分隔): [信号处理] 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:马尔科夫链是一个离散的马尔科夫过程,本文主要对 ...
随机过程、马尔可夫链详解
学校的概率统计课程没有讲到这一部分的内容,但是又比较重要,因此来填个小坑 PS:参考概率论与数理统计第五版浙大盛骤谢式千潘承毅.Blibili@FunInCode 一.随机过程 1.概念 ...
【视频】马尔可夫链蒙特卡罗方法MCMC原理与R语言实现|数据分享
原文链接:http://tecdat.cn/?p=2687 在贝叶斯方法中,马尔可夫链蒙特卡罗方法尤其神秘(点击文末"阅读原文"获取完整代码数据). 它们肯定是数学繁重且计算量大的 ...
马尔可夫链的定义、举例和应用
马尔可夫链通常用来建模排队理论和统计学中的建模,还可作为信号模型用于熵编码技术,如算法编码. 定义马尔可夫链是满足马尔可夫性质的随机过程.马尔可夫链描述了一种状态序列,其每个状态值取决于前面有限个状 ...
[work]马尔可夫链（Markov Chain）是什么鬼
"随机过程随机过,实变函数学十遍,微机原理闹危机,汇编语言不会编" 1. 唯一让我彻底蒙圈的课程这些课程真的太难了,大学里无数人为此伤透了脑筋,挂科率杠杠的.我当初也是的,特别是 ...
计算机程序数据随机变化,计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本)...
<计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本)>由会员分享,可在线阅读,更多相关<计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本)(15页珍藏版)> ...
提升C语言程序运行效率马尔可夫,计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本).doc...
PAGE 1 计算机程序编程课程设计报告 (马尔可夫链算法生成随机可读文本) 引言: 马尔可夫链的数学背景: 马尔可夫链,因安德烈?马尔可夫(A.A.Markov,1856-1922)得名 ,是数学随 ...
马尔可夫链与马尔可夫模型（附代码）
‍ 来源:我得学城本文约5000字,建议阅读10+分钟本文我们将介绍比较两个(或多个)分布以及评估它们之间差异的大小和显著性的不同方法. 马尔可夫链(有翻译为马尔科夫,英语:Markov chai ...
机器学习笔记 - 什么是马尔可夫链？
一.马尔可夫链概述以Andrey Markov命名的马尔可夫链是从一个"状态"(一种情况或一组值)跳到另一个"状态"的数学系统. 马尔可夫链是一种简单且非常有 ...

随机过程（4）——马尔可夫链