在阅读高斯过程（GPs）时，我认为能够证明有关多元高斯分布的一些基本事实将是有用的，这些高斯分布是GP的基础。即，如何证明多元高斯的条件分布和边际分布也是高斯，并给出其形式。

首先，我们知道，一个均值为μ\muμ、协方差矩阵为Σ\SigmaΣ的多元正态分布的概率密度函数可以表示为
1(2π)k/2∣Σ∣1/2exp(−12(x−μ)TΣ−1(x−μ))\frac{1}{(2\pi)^{k/2}{|\Sigma|}^{1/2}} exp(- \frac{1}{2} (x - \mu)^T \Sigma^{-1} (x-\mu)) (2π)k/2∣Σ∣1/21exp(−21(x−μ)TΣ−1(x−μ))
为了简化表示，我现在假设分布的均值为零，但是所有内容都应以一种直接的方式延续到更一般的情况下。

进一步地，在这里我们将xxx拆分成两部分[ab]\begin{bmatrix} a \\ b \end{bmatrix}[ab]，因此我们接下来将研究两个新的分布：条件分布p(a∣b)p(a|b)p(a∣b)和边缘分布p(b)p(b)p(b)。首先，我们将原有的协方差矩阵Σ\SigmaΣ变形为一个分块矩阵的形式[ACTCB]\begin{bmatrix} A & C^T \\ C & B \end{bmatrix}[ACCTB]，其中AAA表示变量aaa的协方差矩阵，BBB表示变量bbb的协方差矩阵，CCC表示交叉项(cross-terms)。

现在，我们希望能够写出逆协方差矩阵[ACTCB]−1\left[ \begin{array}{cc} A & C^T \\ C & B \end{array}\right]^{-1}[ACCTB]−1。我们可以利用 Schur complement方法并将其写为：
[ACTCB]−1=[I0−B−1CI][(A−CTB−1C)−100B−1][I−CTB−10I]\left[\begin{array}{cc} A & C^T \\ C & B \end{array}\right]^{-1} = \left[ \begin{array}{cc} I & 0 \\ -B^{-1}C & I \end{array}\right] \left[ \begin{array}{cc} (A-C^T B^{-1} C)^{-1} & 0 \\ 0 & B^{-1} \end{array}\right] \left[ \begin{array}{cc} I & -C^T B^{-1} \\ 0 & I \end{array}\right] [ACCTB]−1=[I−B−1C0I][(A−CTB−1C)−100B−1][I0−CTB−1I]

我将在下面解释如何得出这一点。现在，我们知道联合分布可以写成
p(a,b)∝exp⁡(−12[ab]T[ACTCB]−1[ab])p(a,b) \propto \exp \left(-\frac{1}{2} \left[ \begin{array}{c} a\\ b \end{array} \right]^T \left[ \begin{array}{cc} A & C^T \\ C & B \end{array}\right]^{-1} \left[ \begin{array}{c} a\\ b \end{array} \right] \right) p(a,b)∝exp(−21[ab]T[ACCTB]−1[ab])

我们可以用块协方差矩阵的逆的上述表达式代替，如果我们通过乘以外部矩阵来简化，则可以得到
p(a,b)∝exp⁡(−12[a−CTB−1bb]T[(A−CTB−1C)−100B−1][a−CTB−1bb])p(a,b) \propto \exp \left(-\frac{1}{2} \left[ \begin{array}{c} a - C^T B^{-1} b \\ b \end{array} \right]^T \left[ \begin{array}{cc} (A-C^T B^{-1} C)^{-1} & 0 \\ 0 & B^{-1} \end{array}\right] \left[ \begin{array}{c} a - C^T B^{-1} b \\ b \end{array} \right] \right) p(a,b)∝exp(−21[a−CTB−1bb]T[(A−CTB−1C)−100B−1][a−CTB−1bb])
利用中心矩阵是块对角线的事实，我们有

p(a,b)∝exp⁡(−12(a−CTB−1b)T(A−CTB−1C)−1(a−CTB−1b))exp⁡(−12bTB−1b)p(a,b) \propto \exp \left(-\frac{1}{2} (a - C^T B^{-1} b)^T (A-C^T B^{-1} C)^{-1} (a - C^T B^{-1} b)\right) \exp \left( -\frac{1}{2} b^T B^{-1} b\right) p(a,b)∝exp(−21(a−CTB−1b)T(A−CTB−1C)−1(a−CTB−1b))exp(−21bTB−1b)

至此，我们已经完成许多工作。如果我们以b为条件，则第二个指数项作为常数消失，我们有
p(a∣b)∼N(CTB−1b,(A−CTB−1C))p(a|b) \sim \mathcal{N}\left(C^T B^{-1} b, (A-C^T B^{-1} C)\right) p(a∣b)∼N(CTB−1b,(A−CTB−1C))

请注意，如果aaa和bbb不相关，则C=0C = 0C=0，我们只得到aaa的边际分布。如果我们对aaa进行边际化，则可以将第二个指数项拉到积分之外，并且第一个项只是高斯分布的密度，因此它积分为1，我们发现
p(b)=∫ap(a,b)∼N(0,B)p(b) = \int_a p(a,b) \sim \mathcal{N}(0,B) p(b)=∫ap(a,b)∼N(0,B)

上面，我写道，您可以使用Schur complement获得协方差逆矩阵的块矩阵形式。实际将如何得出呢？如Wikipedia页面中所述，可以使用Gaussian elimination方法来推导逆表达式。

延伸阅读

阅读有关高斯过程的维基百科页面后，我便开始了这一思路。作为快速入门，页面上对GP的简要介绍的外部链接有所帮助。 MacKay和Rasmussen的视频讲座既不错，又有助于加深对GP的了解。

MacKay还对Humble Gaussian distribution发表了一篇不错的短文，它提供了有关高斯分布的协方差和逆协方差矩阵的更多信息。特别地，逆协方差矩阵告诉您两个变量之间的关系，并以所有其他变量为条件，因此如果您将某些变量边缘化，则它们会发生变化。逆协方差矩阵中偏离对角线元素的符号与两个变量之间相关性的符号相反，该条件以所有其他变量为条件。

要深入研究高斯过程，可以阅读Rasmussen和Williams所著的《高斯机器学习过程的高斯》一书，该书可在线获得。附录包含有关高斯恒等式和矩阵恒等式的有用事实和参考，例如矩阵求逆引理，高斯消除的另一种应用是确定逆，在这种情况下为矩阵求和的逆。

参考文献

1.关于在CSDN中如何插入数学公式的使用参考大全

2.[CSDN_Markdown] 使用LaTeX写矩阵

3.CSDN Markdown 公式大全

4.在CSDN-Markdown中书写多行大括号公式

5.Conditional and marginal distributions of a multivariate Gaussian

多元高斯分布中条件分布与边缘分布的相关公式相关推荐

多元正态分布的条件分布与边缘分布
问题概述问题是这样的,一个nnn元的随机向量 x=[x1x2]x = \left [ \begin{matrix}x_1 \\ x_2\end{matrix} \right ]x=[x1x2] ...
正态分布的条件分布与边缘分布
本文总结多元正态分布的条件分布与边缘分布,证明不难,但都比较繁琐,故不做详细证明,有兴趣可以参考Pattern Recognition and Machine Learningy一书. 1 正态分布的 ...
MCMC算法--Gibbs采样2：多元高斯分布的边际分布与条件分布推导
因为在下篇博客中会介绍Gibbs采样,代码示例用到的是多元高斯分布,所以对条件分布,边际分布公式必须写出来,所以博主整理了下. 参考文献为:http://fourier.eng.hmc.edu/e16 ...
多元高斯分布是非参_（二）多元高斯分布与概率图条件独立性假设
Author: Pan Date: 2020/7/15 首先,我们通过随机向量的介绍来引出多元高斯分布,通过多元高斯分布,我们将介绍概率图的条件独立性假设. 先快速过一遍随机向量: 1.随机向量 ...
多元高斯分布(Multivariate Gaussian Distribution)
from:https://www.jianshu.com/p/d6c8ca915f69 还是对计算机的监测,我们发现CPU负载和占用内存之间,存在正相关关系. CPU负负载增加的时候占用内存也会增加: ...
多元函数的向量表示_多元高斯分布完全解析
摘要高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理我们知道, 大量独立同分布的随机变量的均值在做适当标准化 ...
多元高斯分布是非参_多元高斯分布（多元正态分布）简介
多元高斯分布(多元正态分布)简介标签:#正态分布##统计基础##高斯分布# 时间:2017-01-28 23:02:43 作者:小木高斯分布(Gaussian Distribution),也称作是 ...
高斯分布、多维高斯分布、各向同性的高斯分布及多元高斯分布之间的KL散度
转自:https://www.cnblogs.com/jiangkejie/p/12939776.html 高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到. 一维高斯分布一维高斯分 ...
一元高斯分布多元高斯分布高斯过程混合高斯模型
高斯分布,又称正态分布,应用于连续型随机变量分布的模型中,对于多元高斯分布存在和一元高斯相似的,对于多元实值向量,使熵取得最大值的是高斯分布.当多个随机变量之和相加时,根据拉普拉斯提出的中心极限定理( ...

多元高斯分布中条件分布与边缘分布的相关公式

延伸阅读

参考文献

多元高斯分布中条件分布与边缘分布的相关公式相关推荐

最新文章

热门文章