高斯判别分析 matlab,机器学习导论（5）

引言

之前介绍过分类方法使用最小二乘法或者Logistic回归实现分类，通过直接给定相应的预测函数实现数据的划分，例如预测函数在二分类中的实现就是一条直线之类。接下来对于给定的测试样本特征X,直接判定其是在直线的左边还是右边，从而实现对样本的分类。

上面的描述的都是属于判别学习分析，区别于判别学习分析，今天需要介绍的是生成学习算法，生成学习算法是先对给定的训练样本(正样本与负样本)建立相应的模型，然后对于给定的测试样本匹配相应的模型，假设与正样本模型匹配度较高的话就可以得到当前的测试样本是属于正样本。

从数学层面来看判别学习算法都是直接对P(y|x)进行建模，然后直接求出相应的测试样本的分类结果。生成学习算法却不是直接对P(y|x)直接建模，它是先对P(x|y)和P(y)进行建模，然后使用贝叶斯后验概率估计得到相应的P(y|x)。

举例说明：假设我们现在要区分样本是属于大象还是小狗，对于大象设定的标签是1，对于小狗设定的标签是0，按照生成学习算法的计算过程就是先要对每一类进行建模，因此我们需要先计算出P(x|y=1)(这个是对大象正样本模型的建模)和P(x|y=0)(这个是对小狗负样本模型的建模)。在对正负样本进行建立模型之后我们建立P(y)先验概率模型，接下来就是使用贝叶斯后验概率规则得到P(y|x)。

使得后验概率值最大的y就是当前测试样本的分类：

由于我们是要求解出使得P(y|x)最大时y的值大小，因此可以忽略P(x)的值，因此上式中的第二步就是化简之后的计算方程。

备注：argmax是计算使得函数值最大时变量的大小，上面的函数就是后验概率，变量是y。

高斯判别分析

乍一看高斯判别分析就误以为是判别分类算法，其实不是，高斯判别分析是生成学习算法之一。

多变量正态分布

均值向量μ∈Rn，协方差矩阵Σ∈Rn*n，相应的概率分布如下所示：

下面给出部分多变量高斯模型的Matlab示意图：

上面图像中最左边是标准正态分布，协方差矩阵单位矩阵，中间的那幅图的协方差矩阵是0.6倍单位矩阵，最右边的图像的协方差矩阵是2倍单位矩阵。

其实更该不同的协方差会得到不一样的高斯分布模型，同理更该均值向量也会得到的不同的模型。

GDA高斯判别模型

当我们的特征向量是连续的随机变量时就可以使用高斯判别模型去求解相应的分类问题。

模型的建立如下：

相应的分布函数：

上面的式子中通常情况下协方差是大小是一样的，均值一般是不一样的，从等高线图像中可以表示成正负样本模型的大小是一样的，但是所处的位置不一样，然而位置的决定权就在于均值大小。

极大似然估计函数如下：

通过求取极大似然估计函数的最大值，得到如下四个参数的值：

下面给出一个实验例子说明GDA分类效果：

上面的两幅图中可以看出高斯分布的协方差矩阵一致，当然均值不一样，否则两个分类的等高线图形会重合到一起，根据建立的GDA模型求出最后的分类拟合曲线。

结论

GDA对于二分类有较好的分类效果，其实GDA模型与之前介绍的Logistic线性回归有着相关的联系，可以业余时间研究下。

高斯判别分析 matlab,机器学习导论（5）–GDA高斯判别模型相关推荐

matlab 图像中加入高斯白噪声,MATLAB——如何给图像添加高斯白噪声
如何给图像添加高斯白噪声今天下午到晚上都在看添加高斯噪声的问题,这也是困扰我半年的一个问题了,非常的难以忍受,今天决定征服它!在网上查阅无数资料后,锁定在振动论坛上的这篇文章中:http://www ...
高斯噪音 matlab,如何给图像添加高斯噪声（MATLAB）
噪声分两种性质,加性噪声和乘性噪声.加性噪声一般指热噪声.散弹噪声等,它们与信号的关系是相加,不管有没有信号,噪声都存在.而乘性噪声一般由信道不理想引起,它们与信号的关系是相乘,信号在它在,信号不在他 ...
斯坦福大学机器学习——高斯判别分析
转自 http://blog.csdn.net/linkin1005/article/details/39054023 同朴素贝叶斯一样,高斯判别分析(Gaussian discriminant an ...
生成模型学习笔记：从高斯判别分析到朴素贝叶斯
机器之心专栏作者:张威翻译:燕子石本文是哥伦比亚大学研究生张威在生成模型上的学习笔记,由毕业于新西兰奥克兰理工大学的燕子石翻译.机器之心之前曾介绍过张威所写的吴恩达<机器学习>课程的 ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
经典机器学习算法：高斯判别分析GDA
高斯判别分析介绍高斯判别分析 GDA GDA模型模型求解具体计算高斯判别分析 GDA GDA:Guassian Discrimant Analysis 高斯判别分析属于两分类.软分类.概率生成 ...
机器学习（八）：CS229ML课程笔记（4）——生成学习，高斯判别分析，朴素贝叶斯
到目前为止,我们主要学习了学习算法模型:,在给定以θ为参数的x时y的分布.比如说逻辑回归模型:,g是sigmoid function.今天我们学的是一种不同的学习算法--生成学习算法. Part4 生 ...
斯坦福机器学习笔记（三）—— 高斯判别分析
概述本篇博客主要是网易公开课上吴恩达教授讲解的机器学习视频中关于高斯判别分析的相关内容(网址为:http://open.163.com/movie/2008/1/A/R/M6SGF6VB4_M6SG ...
线性分类（四）-- 高斯判别分析 GDA
高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Generative Le ...

高斯判别分析 matlab,机器学习导论（5）–GDA高斯判别模型

高斯判别分析 matlab,机器学习导论（5）–GDA高斯判别模型相关推荐

最新文章

热门文章