1 齐次马尔可夫链（一阶马尔可夫链）

1.1 马尔可夫性质

换句话说，未来与过去无关，只和当下息息相关。

1.2 马尔可夫链

具有马尔可夫性的随机序列 $X=\{X_0,X_1,\cdots,X_t,\cdots\}$ 称为马尔可夫链（Markov Chain），或马尔可夫过程（Markov Process）。条件概率分布P $P(X_t|X_{t-1})$ 称为马尔可夫链的转移概率分布。

1.3 时间齐次马尔可夫链

2 概率转移矩阵

（每一行的和为1）

2.1 用概率转移矩阵说明马尔可夫链最终收敛

可以证明的是，经过若干步的迭代，在某一步之后，马尔可夫链最终会进入平稳分布（进入平稳状态之前，状态空间是一样的，但是各个状态的概率分布是不一样的）

t+1时刻状态为j的概率，等于t时刻个状态的概率*相应的转换概率，然后求和

所以

而随机矩阵，也就是状态转移矩阵，有一个性质（这里不加证明，了解就好），就是特征值的绝对值小于等于1

所以我们对随机矩阵Q进行特征值分解的话，有：，其中特征矩阵满足：

我们假设只有某一个λi=1，其他的λ都小于1，那么存在足够大的m，使得（比1小的那些特征值，经过多轮乘方之后，趋近于1）

由于前面我们推到

所以对m+1，我们有： $q^{(m+1)}=q^{(1)}Q^m=q^{(1)} A \Lambda^m A^{-1}$

于是，对m+2，我们有： $q^{(m+2)}=q^{(1)}Q^{m+1}=q^{(1)} A \Lambda^{m+1} A^{-1}$

这里有一个小trick'，就是因为，所以 $\Lambda^{m+1}$ 中也是有λ为1的那一个为不为0（其他位都是0乘0，或者0乘一个数），所以 $\Lambda^{m+1}=\Lambda^{m}$

所以 $q^{(m+2)}=q^{(1)}Q^{m+1}=q^{(1)} A \Lambda^{m+1} A^{-1}=q^{(1)} A \Lambda^{m} A^{-1}=q^{(m+1)}$

同样地，我们可以得到：

也就是，在第m步之后，各个状态的状态分布是一样的，也就是马尔可夫链趋近于平稳状态

3 状态分布

根据状态转移，我们有： $\pi_i(t+1)=\int \pi_x(t) p(x-> i) dx$ 也就是说，t+1时刻的状态i的概率，等于t时刻各个状态的概率，乘以相应的转移概率

其中所有的 $\pi_x(t)$ 的和为1

p(x-> i) ，更专业一点的写法是条件概率p(i|x)

4 平稳分布

直观地来看，如果以该平稳分布作为初始分布，面向未来进行随机状态转移，之后任何一个时刻的状态分布都是该平稳分布。【任何时刻，各个状态的概率分布是一样的】

上一节我们有： $\pi_i(t+1)=\int \pi_x(t) p(x-> i) dx$

而平稳分布的时候则和t没有关系了可以写成 $\pi(x*)=\int \pi(x) p(x-> x*) dx$

而MCMC的思路，就是通过设计一个马尔可夫链，使得它可以达到平稳分布，同时平稳分布时候的概率分布Π等于我们需要的采样概率分布p(x)

4.1 detailed balance

$\pi(x)P(x->x*)=\pi(x*)p(x*->x)$

4.2 如果满足detailed balance，那么一定平稳分布

所以 $\pi(x*)=\int \pi(x) p(x-> x*) dx$ ，这也就是平稳分布的式子

MCMC笔记：齐次马尔可夫链相关推荐

MCMC笔记：MCMC的不足
1,理论只告诉了我们马尔可夫链会收敛于平稳分布,但无法知道何时收敛. (理论见:MCMC笔记:齐次马尔可夫链_UQI-LIUWJ的博客-CSDN博客) 2,对于一些马尔可夫链来说,构造的转移矩阵收敛时 ...
MCMC笔记Metropilis-Hastings算法（MH算法）
1 前言我们在MCMC笔记:齐次马尔可夫链_UQI-LIUWJ的博客-CSDN博客中介绍了平稳条件,当马尔可夫链达到平稳状态时(也就是各个状态之间的转移概率已经和时间无关了),那我们可以通过此时的 ...
MCMC笔记：吉布斯采样（Gibbs）
1 介绍吉布斯采样是一种特殊的MH采样 MCMC笔记Metropilis-Hastings算法(MH算法)_UQI-LIUWJ的博客-CSDN博客此时我们要采样的分布是一个高维的情况吉布斯采样的 ...
【通俗易懂的通信】马尔可夫过程Ⅰ：马尔可夫链、齐次马尔可夫链、CK方程
0.前言马尔可夫链在香农通信中被用作描述离散信源的工具,所以完全理解马尔可夫链是理解香农信息论的前提 1.马尔可夫链的定义注解: 定义式中并未说明状态空间的容量,n是序列的长度. A式的意思是,相 ...
MCMC笔记：蒙特卡罗方法
0 前言:关于采样 0.1 采样的动机 1)采样可能本身就是任务 2)求和或者求积分 0.2 什么是好的样本? 1)样本趋向于高概率的区域 2)样本是相互独立的 0.3 采样是困难的 1)概率分布函数 ...
机器学习笔记 - 什么是马尔可夫链？
一.马尔可夫链概述以Andrey Markov命名的马尔可夫链是从一个"状态"(一种情况或一组值)跳到另一个"状态"的数学系统. 马尔可夫链是一种简单且非常有 ...
机器学习-白板推导系列笔记（十三）-MCMC
此文章主要是结合哔站shuhuai008大佬的白板推导视频:MCMC_218min 全部笔记的汇总贴:机器学习-白板推导系列笔记一.蒙特卡洛方法蒙特卡洛方法(Monte Carlo Method) ...
MCMC（马尔可夫链）
1.马尔可夫链由状态空间和转移矩阵定义 2.齐次马尔可夫链是指未来状态的条件概率分布仅依赖于现在状态,与过去无关 3.如果马氏链的每个状态都会趋于一个稳定的数值,我们称过程收敛 4.如果分布π(X)使 ...
复现经典：《统计学习方法》第19章马尔可夫链蒙特卡罗法
第19章马尔可夫链蒙特卡罗法本文是李航老师的<统计学习方法>一书的代码复现.作者:黄海广备注:代码都可以在github中下载.我将陆续将代码发布在公众号"机器学习初学者&q ...

MCMC笔记：齐次马尔可夫链