概率判别模型与概率生成模型的区别

概率判别模型

首先用sigmoid函数求出

然后通过极大似然估计，求出P（Y|X）的似然来估计预测值

概略判别模型精确的求出概率值

概率生成模型

生成模型不直接计算而是借助贝叶斯定理

而P（x）与Y的概率无关则

类似与判别模型我们需要求出的似然

概率生成模型不会精确的求出概率值，而是通过判断p(Y=1|X)和p(Y=0|X)

这就是生成模型的思路

高斯判别模型

将设y服从二项分布

服从高斯马尔可夫假定

即服从同一方差的高斯分布

记为

求高斯判别模型中的参数

矩阵的定理

直观的等于y=1出现的频率

对初始样本进行分类 y=0为一类，y=1为一类

那么可以把1+2式化简为

我们考虑如下的式子

由于的维数是1*p p*p p*1=1*1维的，所以这是一个实数

而实数的迹等于它本身即

而由于矩阵迹的性质

可以化简上面右边的式子

而这个式子可以写成样本方差的形式

则可以化简上面的式子为

有了这个结论，我们可以化简1+2式为

这里写错了 N1那个S应该写成S1、N2的S应写成S2 因为是不同的样本的样本方差

进行求导

总结：

是实数借助tr（）转化为样本方差进行求导跟方便

高斯判别分析（GDA）相关推荐

高斯判别分析(GDA)和朴素贝叶斯(NB)
生成模型和判别模型监督学习一般学习的是一个决策函数y=f(x)y=f(x)y=f(x)或者是条件概率分布p(y∣x)p(y|x)p(y∣x). 判别模型直接用数据学习这个函数或分布,例如Linear ...
生成学习算法.高斯判别分析(GDA).GDA与Logistic模型
http://blog.csdn.net/v1_vivian/article/details/52190572 <Andrew Ng 机器学习笔记>这一系列文章文章是我再观看Andrew ...
经典机器学习算法：高斯判别分析GDA
高斯判别分析介绍高斯判别分析 GDA GDA模型模型求解具体计算高斯判别分析 GDA GDA:Guassian Discrimant Analysis 高斯判别分析属于两分类.软分类.概率生成 ...
Gaussian Discriminative Analysis 高斯判别分析 GDA
Gaussian Discriminative Analysis 高斯判别分析 GDA Multidimensional Gaussian Model z ∼ N ( μ ⃗ , Σ ) z \sim ...
线性分类（四）-- 高斯判别分析 GDA
高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Generative Le ...
高斯判别分析GDA的简单python实现
参考文章:https://blog.csdn.net/qq_30091945/article/details/81508055 作为机器学习的小白,最近将GDA给简单实现了,有很多不足的地方,欢迎大家 ...
高斯判别分析- GDA原理简介
GDA是生成学习方法的一个典型代表. 判别学习方法是直接对P(y | x)进行建模,也就是说生成学习方法学到的是P(y | x)这样一个条件概率:另外一种判别学习方法是直接输出hθ(x)hθ(x)h_ ...
高斯判别分析(GDA)——含python代码
基本数学知识多元正态分布多元正态分布是正态分布在多维变量下的扩展,它的参数是一个均值向量(mean(mean(mean vector)μvector)μvector)\mu和协方差矩阵(cov ...
【备忘】高斯判别分析(GDA)参数手推记录
高斯判别模型是通过最大化贝叶斯模型中的最大后验概率为目标进行训练模型,是一个非常典型的生成模型,假设服从高斯分布,服从伯努利分布,通过训练数据集来确定正态分布与伯努利分布中的各项参数完善模型.对于新的 ...
【机器学习】线性分类——高斯判别分析GDA（理论+图解+公式推导）

高斯判别分析（GDA）