模式识别学习笔记——第2章统计学习方法-2.5 正态分布时的统计决策

要学习正态分布有关的统计决策，正态分布相关的知识肯定是必不可少的！！！对于大多数同学来说，一维的正态分布应该是没什么问题，但是一旦涉及多维的正态分布，立刻就傻眼了。书本上对正态分布和性质的回顾，只能说懂的懂，不懂的还是不懂。当初学这一部分的时候，对多维正态分布很多知识点都不理解，参考了很多书籍和网上的资料。在这里，我强推透彻理解协方差与协方差矩阵和透彻理解多元正态分布两篇文章。第一篇很详细的讲解了协方差矩阵相关证明和性质；第二篇也是很系统的讲解了多维的正态分布。

学习完多维正态分布之后再学习后面的决策就会容易许多，不过以下几个性质需要特别牢记：

可由期望值向量和协方差矩阵确定具体分布
如果各随机变量不相关，则一定独立
多元正态分布经过线性变换之后还是多元正态分布
多元正态分布的条件分布也是多元正态分布
多元正态分布的边缘分布也是多元正态分布

上述几个性质在我推荐的文章中都有证明！

在书上，多元正太分布的形式是：

：协方差矩阵，与一维正态分布的方差对应

：样本的维数

下面开始正式学习正太分布概率模型下的最小错误率贝叶斯决策。

根据最小错误率贝叶斯决策所学，我们可以在多元正态概率型下，令判别函数为：

两个判别函数可以确定一个决策边界：。由这个等式得到的决策边界是最一般的情况，接下来需要讨论三个特殊情况。

1.第一种情况：

第一种情况是每一个类别的协方差矩阵都相等，而且都是值为的对角矩阵，矩阵中其他元素均为0，用数学式表示就是；。可以参考透彻理解协方差矩阵来理解。

将代入中可以得到判别函数为：

由于在最后求解决策边界时我们利用公式来求解决策边界，因此与无关的项可以忽略，最终将化简为下面的式子：

适中是由样本到类的均值向量的欧式距离的平方。（什么是欧式距离？)

更特殊的情况是所有类的先验概率相同。此时这项也可以从判别函数中省去，那么

依据最小风险贝叶斯决策中，（如下图）

那么计算，，选出欧式距离最小的一类，即把样本归于具有的类。这种分类器称为最小距离分类器。

那决策面是怎么样的呢？当先验概率相同时，决策边界是通过与连线中点并于连线正交，如下图所示：

当先验概率不相同时有，可以继续省略与无关的项得到：

，

决策边界则为：

计算后易知，决策边界和当各类先验概率相等时的决策边界平行，只是向先验概率小的方向偏移，即先验概率大的一类要占据更大的决策空间。

2.第二种情况：

第二种情况表示各类的协方差矩阵都相等。第二种情况对样本决策的判断标准与第一种情况类似。不同的是，当先验概率相同时，第二种情况需要寻找的是马氏距离最小的情况。

对于判别函数，我们可以像第一种情况一样化简为：

由此可知，它是的线性方程，因此决策面是一个超平面。通过计算其中一个超平面，即：

其中，，

，

略，

书中说到通常不在方向上，那什么时候在同一方向上呢？就是是的特征向量时会在同一方向上，最一般的情况就是在第一种情况（）时。表示与正交，所以决策面通过点，当是的特征向量时才与正交！若先验概率均相同则有。此时决策边界必过与的中点。看一下下面的图就一目了然啦：

3.第三种情况：各类的协方差矩阵不相等

有时间更新。。。。