高斯判别分析 Gaussian Discriminant Analysis

如果在我们的分类问题中，输入特征xx是连续型随机变量，高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了。

以二分类问题为例进行说明，模型建立如下：

样本输入特征为x∈Rnx∈Rn,其类别y∈{0,1}y∈{0,1}；
样本类别yy服从参数为ϕϕ的伯努力分布，即y∼Bernoulli(ϕ)y∼Bernoulli(ϕ)；
两类样本分别服从不同的高斯分布，即x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)x|y=0∼N(μ0,Σ),x|y=1∼N(μ1,Σ)；

对应的概率分布形式如下：

p(y)=ϕy(1−ϕ)1−y(1)(1)p(y)=ϕy(1−ϕ)1−y

p(x|y=0)=1(2π)n2|Σ|12exp(−12(x−μ0)TΣ−1(x−μ0))(2)(2)p(x|y=0)=1(2π)n2|Σ|12exp⁡(−12(x−μ0)TΣ−1(x−μ0))

p(x|y=1)=1(2π)n2|Σ|12exp(−12(x−μ1)TΣ−1(x−μ1))(3)(3)p(x|y=1)=1(2π)n2|Σ|12exp⁡(−12(x−μ1)TΣ−1(x−μ1))

p(x|y)=1(2π)n2|Σ|12exp(−12(x−μy)TΣ−1(x−μy))(4)(4)p(x|y)=1(2π)n2|Σ|12exp⁡(−12(x−μy)TΣ−1(x−μy))

我们模型的参数包括ϕ,μ0,μ1,Σϕ,μ0,μ1,Σ。这里的两个高斯分布具有不同的均值μ0μ0和μ1μ1，但在实际应用中一般取相同的方差ΣΣ。

给定包含mm个样本的训练集S={(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}S={(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，似然函数形式如下：

L(ϕ,μ0,μ1,Σ)=log∏mi=1p(x(i),y(i);ϕ,μ0,μ1,Σ)=log∏mi=1p(x(i)|y(i);μ0,μ1,Σ)p(y(i);ϕ)=∑mi=1logp(x(i)|y(i);μ0,μ1,Σ)+logp(y(i);ϕ)=∑mi=1[−12(x(i)−μy(i))TΣ−1(x

高斯判别分析 Gaussian Discriminant Analysis相关推荐

python判别分析_二次判别分析Quadratic Discriminant Analysis(QDA)
与线性判别分析类似,二次判别分析是另外一种线性判别分析算法,二者拥有类似的算法特征,区别仅在于:当不同分类样本的协方差矩阵相同时,使用线性判别分析:当不同分类样本的协方差矩阵不同时,则应该使用二次判别 ...
R语言分类算法之线性判别分析(Linear Discriminant Analysis)
1.线性判别原理解析基本思想是"投影",即高纬度空间的点向低纬度空间投影,从而简化问题的处理.在原坐标系下,空间中的点可能很难被分开,如图8-1,当类别Ⅰ和类别Ⅱ中的样本点都投影 ...
判别分析法(Discriminant Analysis)
所谓判别分析法(discriminant analysis),是在已知的分类之下,一旦遇到有新的样本时,可以利用此法选定一判别标准,以判定如何该将新样本放置于那个族群中.而分群分析法,则是希望将一群具 ...
线性判别分析(Linear Discriminant Analysis, LDA）(含类内散度矩阵类间散度矩阵全局散度矩阵推导
LDA算法概述: 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是 ...
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
LDA算法入门一． LDA算法概述: 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discrimin ...
西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis
文章目录 0. 前言 1. 线性判别分析参数求解方法如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言线性判别分析LDA的思想非常朴素:给定数据集,设法将样例投影 ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
机器学习基础专题：高斯判别分析
高斯判别分析全称是Gaussian Discriminant Analysis (GDA).大家不要被名字所误导,这是一种概率生成模型. 原理对联合概率进行建模,我们假设y∼Bernoulli(Φ ...
机器学习（八）：CS229ML课程笔记（4）——生成学习，高斯判别分析，朴素贝叶斯
到目前为止,我们主要学习了学习算法模型:,在给定以θ为参数的x时y的分布.比如说逻辑回归模型:,g是sigmoid function.今天我们学的是一种不同的学习算法--生成学习算法. Part4 生 ...

高斯判别分析 Gaussian Discriminant Analysis

高斯判别分析 Gaussian Discriminant Analysis相关推荐

最新文章

热门文章