模式识别和机器学习--- 2.3高斯分布

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://tonyshen.blog.51cto.com/4569905/800273

高斯分布又称正态分布，被广泛用于连续变量分布的模型。对于单变量x，高斯分布的形式

这里表示期望，表示方差。对于一个 D 维向量 X ，其多元高斯分布形式为：
这里是一个 D 维均值向量，是的协方差矩阵，表示的行列式。

高斯分布出现在很多应用中并可以从很多角度来阐释。比如，我们已经见过的实单变量使熵最大的分布就是高斯分布。该性质同样适用于多元高斯分布中。

当考虑多个随机变量和的分布是另一个应用高斯分布的情境。中心极限定理（central limit theorem，Laplace 提出）告诉我们：在一定的简单条件下，一系列随机变量的和（其自身当然也是随机变量）的分布随着项的增加其越接近高斯分布。可以通过N个服从[0 1]间分布的变量的均值
的分布来阐述。当 N 很大时，该分布趋向于高斯分布。事实上，随着 N 的增大它会很快收敛于高斯分布。该结果的一个推论是：当 N 趋于 ∞ 时，二元分布即二元变量的 N 次观察中出现 m 次的分布，趋于高斯分布。

高斯分布具有很多重要的性质，我们将会具体讨论其中的几个。因此，相对于以前的章节，这节将会牵涉更多的技术性，而且需要熟悉各种矩阵特性。但是，我们强烈建议读者用此处介绍的技术熟练掌握高斯分布，因为这对以后章节出现的更为复杂的模型的理解将是非常重要的。

我们首先考虑高斯分布的几何形式。 X 上的高斯分布的功能函数是出现在指数上的二次形式

称为从到的马氏距离（Mahalanobis distance），当是单位矩阵时变为欧氏距离（Euclidean distance）。因为该二次项为常数，所以在X-空间表面高斯分布也是常量。
首先，我们注意到是一个对称矩阵，不失一般性，任何非对称部分将从指数中消失。现在来考虑协方差矩阵的特征向量等式

这里。因为是实对称矩阵，所以它的特征向量都是实向量，并且可以构成正交向量集，即

这里是单位矩阵的第i行的第j个元素，满足

协方差矩阵

可以用特征向量展开成如下形式：

类似，协方差举证的逆

可表示为

将（2.49）代入（2.44），则二次式变为

这里我们定义

我们可以将理解为由正交向量定义的新的坐标系，该坐标系是对初始坐标的平移和旋转。用向量的形式，我们有

这里是一个行向量为的矩阵。从（2.46）了解到是正交矩阵，比如它满足也满足（是单位矩阵）。

因为（2.51）是一个常量，所以二次式，因而高斯密度，在表面也是常量。如果所有的特征值都是正的，那么这些平面表现为椭圆，而且是其中心，轴朝向，而且在轴向的尺度系数为。

为了高斯分布意义明确，必须使协方差举证的所有特征值都严格为正，否则，该分布不能正确规范。矩阵的特征值严格为正又称为矩阵正定。在第12章，我们将遇到1个或多个特征值为0的高斯分布，在这种情况下，该分布是异常的或者是定义于低维子空间。如果所有特征值非负，那么，协方差矩阵称为半正定矩阵。
现在考虑由定义的新坐标系下的高斯分布形式。从X到Y坐标系，我们有一雅克比矩阵（Jacobian matrix），它的元素定义为

是的元素。用地正交性质，可见雅克比矩阵（Jacobian matrix）行列式的平方是

因此。同时，协方差矩阵的行列式可以记为它的特征值的乘积

因此，在坐标系下，高斯分布的形式为

即是D个独立单变量高斯分布的乘积。因此，特征向量定义新的旋转和平移坐标系时考虑到了将联合概率分布分解成独立分布的乘积。在坐标系下，分布的积分为

这里我们使用了（2.48）的结果来标准化单变量高斯分布。该式证实了多变量高斯（2.43）确实是正态的。

现在考察高斯分布的矩，从而理解参数和。高斯分布下X地期望是

这里我们使用了变量替换。注意到指数是因子Z的偶函数，并且积分区域是（- ∞，+ ∞），因此，中的将会对称抵消。因此，

所以，我们把认为是高斯分布的均值。

现在考虑高斯二阶矩。在单变量情况下，我们认为是高斯二阶矩。而对于多变量高斯，存在个二阶矩由表示，可以组合形成矩阵。该矩阵可记为

这里我们仍然采用了变量替换。注意到交叉项和会再次被对称抵消。项是常量（是一个单元（unity），因为高斯分布的标准化），可提到积分号外边。考虑项，我们可以再次使用（2.45）给出的协方差矩阵的特征向量展开，并结合特征向量集的完备性，记

这里，得到

这里我们使用了特征向量等式（2.45），并结合了中间行的右边积分除非i=j将会消失，在最后一行，我们使用了（1.50）、（2.55）和（2.48）的结果。因此，我们有

对于单个随机变量，在计算二阶矩前减去均值是为了定义方差。类似地，在多变量情形下，减去均值会使得计算如下定义的协方差非常方便，

对于特定的高斯分布，我们可以使用并结合（2.62）的结果，给出

因为系数矩阵

控制了高斯分布X的协方差，所以它被称为协方差矩阵。
尽管，高斯分布（2.43）被广泛用作密度模型，但它存在一些明显的缺陷。考虑分布中的自由参数的个数，一个普通的对称协方差矩阵将会有D（D+1）/2个自由参数，加上均值向量中的D个自由参数，总共有D（D+3）/2个参数。参数个数随着D的二次方增长，当D非常大时，操作和逆置大矩阵将会受到限制。一种解决该问题的办法是使用限定形式的协方差矩阵。如果协方差矩阵时对角阵，即

，那么在密度模型中只有2D个自由参数。恒定密度的响应边缘将是坐标对齐的椭圆。我们可以更进一步限定协方差矩阵是和单位矩阵成比例即

，由称为各向同性协方差，则在模型中只有D+1个独立参数，并且恒定密度曲线是圆。不幸的是，尽管这种方法限制了分布中的自由度而且使得协方差矩阵的操作更加快速，但是它也极大地限制了概率密度的形式并且限制了分布表示数据间的相关性的能力。

对高斯分布一个更进一步的限制是：它是一个本质单峰（intrisically unimodal）。因此不能对多峰分布给出一个好的近似。因此，高斯分布既能很灵活并对很对参数敏感，也能有很多限制使其仅仅足够表示的分布区域。后面我们将介绍潜在变量，又称隐含变量，或未观测变量，能够同时解决这些问题。特别地，一个丰富的通过介绍潜在离散变量倒出混合高斯而获得的多元分布将会在2.3.9节介绍。类似地，在第12章介绍的潜在连续变量模型其自由参数的个数将能够被数据空间的维数D独立控制并且该模型能够很好地获得数据集的主要相关性关系。事实上，这两种方法可以联合使用并且进行进一步扩展到丰富的能够适用于更加广泛的实际应用领域中的层次模型。比如，广泛应用于图象概率模型的高斯模型的马尔科夫随机场（Markov random field），就是在像素强度的联合空间的高斯分布，该空间通过采用合理的反映像素空间组织关系的结构而很容易处理。类似地，应用在跟踪等时序数据模型的动态线性系统（linear dynamical system），同样是一个在可能含有大量观测和潜在观测的数据上的联合高斯分布，由于利用了分布中的结构同样很容易处理。图象概率模型就是对这种复杂分布的形式和性质的一个很好阐释，它将组成第8章。

原文出处：http://tonyshen.blog.51cto.com/4569905/800273

模式识别和机器学习--- 2.3高斯分布相关推荐

经典教材《模式识别和机器学习》官方免费下载！
编辑:肖琴 [新智元导读]最经典的机器学习教材之一.大牛Christopher Bishop所著的<模式识别与机器学习>公开了官方的免费下载版本! 今天,微软剑桥研究院在官方推特放出一个大 ...
模式识别与机器学习笔记（二）机器学习的基础理论
机器学习是一门对数学有很高要求的学科,在正式开始学习之前,我们需要掌握一定的数学理论,主要包括概率论.决策论.信息论. 一.极大似然估计(Maximam Likelihood Estimation,M ...
模式识别与机器学习（更新中）
模式识别与机器学习使用的教材,PPT为1 公式推导部分直接去看白板推导2,不管是书上还是ppt都写的极其模糊先说重点: 贝叶斯算概率参数估计第二讲贝叶斯学习基础贝叶斯公式先验概率是非条件 ...
个人喜欢的关于模式识别、机器学习、推荐系统、图像特征等方面个人主页及博客
个人喜欢的关于模式识别.机器学习.推荐系统.图像特征等方面个人主页及博客 (2014-06-17 00:09:15) 转载▼ 标签: 育儿目标检测.识别.分类.特征点的提取 David Lowe ...
计算机视觉与图像处理、模式识别、机器学习学科之间的关系
在我的理解里,要实现计算机视觉必须有图像处理的帮助,而图像处理倚仗与模式识别的有效运用,而模式识别是人工智能领域的一个重要分支,人工智能与机器学习密不可分.纵观一切关系,发现计算机视觉的应用服务于机器 ...
今天开始学模式识别与机器学习(PRML)，章节5.1，Neural Networks神经网络-前向网络。
今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML),章节5.1,Neural Networks神经网络-前向网络. 话说上一次写 ...
开源！《模式识别与机器学习(PRML)》笔记、代码、NoteBooks 发布
微软剑桥研究院实验室主任 Christopher Bishop 的经典著作<Pattern Recognition and Machine Learning>,中文译名<模式识别与机 ...
重磅 | AI 圣经 PRML《模式识别与机器学习》官方开源了！
红色石头的个人网站:redstonewill.com 红色石头相信任何一个搞机器学习.深度学习的人都应该听说过一本经典教材:<Pattern Recognition and Machine Le ...
【计算机视觉】计算机视觉、模式识别、机器学习常用牛人主页链接
计算机视觉.模式识别.机器学习常用牛人主页链接牛人主页(主页有很多论文代码) Serge Belongie at UC San Diego Antonio Torralba at MIT Alexe ...
模式识别与机器学习笔记（一）
本系列博文是对研一课程<模式识别与机器学习>的随堂笔记,希望将老师所讲的与自己的见解记录下来,方便加深自己的理解以及以后复习查看,笔记完全按照老师所讲顺序,欢迎交流. 一.模式识别与机器学 ...

模式识别和机器学习--- 2.3高斯分布

这里是单位矩阵的第i行的第j个元素，满足

模式识别和机器学习--- 2.3高斯分布相关推荐

最新文章

热门文章