概率导论-马尔可夫相关

马尔可夫和切比雪夫不等式

使用情景：使用随机变量的均值与方差去分析事件的概率，随机变量X的均值与方差易计算，但分布不清楚或不易计算--（For概率，均值方差√分布×）

随机变量的均值与方差计算：

X1,X2相互独立

E(X1+X2)=E(X1)+E(X2)

E(X1X2)=E(X1)E(X2)

Var(X1+X2)=Var(X1)+Var(X2)

Var(X)=E[X^2]-(E[X])^2

E(aX+b)=aE(X)+b

Var(aX+b)=a^2Var(X)

马尔可夫不等式

设随机变量X只取非负值，则对任意a>0,P(X≥a)≤E[X]/a

特点：马尔可夫不等式给出的概率与真实概率差距非常大

切比雪夫不等式

设随机变量X均值为 $\mu$ ，方差为 $\delta ^2$ ,则对任意c>0,P(|X- $\mu$ |≥c)≤ $\delta ^2/c^2$

一个随机变量取值偏离其均值k倍标准差的概率最多1/k^2

取 $c=k\delta$ ，其中k为整数， $P(|X-\mu |\geq k\delta )\leq \delta ^2/k^2\delta ^2=1/k^2$

特点：随机变量方差非常小时，随机变量取远离均值的概率也很小，并不要求随机变量非负

离散时间的马尔科夫链

特点：状态在确定的离散时间点上发生改变，由于时间离散化，通常使用n来刻画时刻，Xn表示链的状态，假设所有状态组成有限集合S，称为状态空间。

马尔科夫链用转移概率pij描述，即当状态是i时，下一个状态是j。pij=P(Xn+1=j|Xn=i) i,j∈S

马尔科夫链的核心假设是，只要时刻n的状态是i，无论过去发生了什么，不论是如何到达状态i的，只要下一个时刻转移到状态j的概率一定是转移概率pij。即下一个状态的概率只依赖于前一个状态。转移概率一定是非负的，其和为1， $\sum_{j=1}^{m}pij=1$ 对所有的i成立。pii表示状态发生了“自身转移”。

马尔科夫链可以用转移概率矩阵刻画：

$p11 p12 p13 ....$ 第i行j列就是pij

也可以用转移概率图：

节点表示状态，有向弧线表示转移，pij数值标注在弧线旁。

路径的概率：P(X1=i1,X2=i2...Xn=in|X0=i0)=pi0i1pi1i2...pi(n-1)pi(n)

n步转移概率：rij(n)=P(Xn=j|X0=i)表示n个时间段之后，由i转移到j的概率

n步转移概率的查普曼-科尔莫戈洛夫方程： $rij(n)=\sum_{k=1}^{m}rij(n-1)pkj$ 对于所有n>1，ij成立，r(1)=pij。

n步转移概率矩阵，当n➡∞时，rij(n)会收敛于一个极限值，称为“稳态概率”，n很小时rij会依赖初始状态i，随着时间增大，这种依赖逐渐减弱。

“吸收状态”：一旦到达这个状态，将永远不会改变。