1 模型概述

假设有如下数据：

其中样本数据的类别y在给定的情况下服从伯努利分布

不同类别的样本数据又分别服从不同的多元高斯分布（这里假设两个高斯分布具有同样的方差）

2 损失函数

高斯判别模型的损失函数为其log似然，要估计的参数θ为 $(\mu _{1},\mu _{2},\Sigma ,\phi )$

然后用极大似然估计

3 参数估计

为了方便起见，定义标签为1的样本个数为N1，标签为0的样本个数为N2，则有N1+N2=N

3.1 估计 Φ

ϕ只存在于③式中，因此求解ϕ只需要看③式即可：

3.2 求解μ1

μ1只存在于①式中，因此求解μ1只需要看①式即可：

3.3 求解μ2

求解μ2和μ1 类似

$\hat{\mu_2}=\frac{\sum_{i=1}^N(1-y_i)x_i}{\sum_{i=1}(1-y_i)}=\frac{\sum_{i=1}^N(1-y_i)x_i}{N_2}$

3.4 求解Σ

我们令

和Σ有关的是①和②：

先看通项

导数为0，于是有：

在线性代数笔记：标量、向量、矩阵求导_UQI-LIUWJ的博客-CSDN博客中，我们有：

于是

$=-\frac{1}{2}[N \Sigma^{-1}-N_1 \Sigma^{-1}S_1\Sigma^{-1} -N_2 \Sigma^{-1}S_2\Sigma^{-1} ]=0$

两边同时左乘&右乘一个 $\Sigma^{-1}$ ，有：

即：

4 总结

对于一组样本数据

当我们知道样本数据的类别y在给定的情况下服从伯努利分布，

同时不同类别的样本数据又分别服从不同的多元高斯分布（这里假设两个高斯分布具有同样的方差）时

y落入分类1的概率Φ为，即属于分类1的y的占比

属于分类1的x的均值为：，即属于分类1的那些xi向量的均值

属于分类0的x的均值为： $\hat{\mu_2}=\frac{\sum_{i=1}^N(1-y_i)x_i}{N_2}$ ，即属于分类0的那些xi向量的均值

不同分类的x的协方差为：即属于分类1和0的向量xi的协方差的平均

参考资料：机器学习-白板推导系列笔记（四）-线性分类_scu-liu的博客-CSDN博客

机器学习笔记：高斯判别分析相关推荐

【机器学习】高斯判别分析
跟着博主的脚步,每天进步一点点本文介绍了高斯判别分析,首先介绍生成模型,狭义的给出了生成模型与判别模型的一般区别:然后介绍高斯判别分析模型的三个基本假设:1)先验概率服从伯努利分布,2)条件概率服从 ...
线性分类（四）-- 高斯判别分析 GDA
高斯判别分析(Gaussian Discriminant analysis,GDA),与之前的线性回归和Logistic回归从方法上讲有很大的不同,GDA是一种生成学习算法(Generative Le ...
机器学习（八）：CS229ML课程笔记（4）——生成学习，高斯判别分析，朴素贝叶斯
到目前为止,我们主要学习了学习算法模型:,在给定以θ为参数的x时y的分布.比如说逻辑回归模型:,g是sigmoid function.今天我们学的是一种不同的学习算法--生成学习算法. Part4 生 ...
斯坦福机器学习笔记（三）—— 高斯判别分析
概述本篇博客主要是网易公开课上吴恩达教授讲解的机器学习视频中关于高斯判别分析的相关内容(网址为:http://open.163.com/movie/2008/1/A/R/M6SGF6VB4_M6SG ...
生成模型学习笔记：从高斯判别分析到朴素贝叶斯
机器之心专栏作者:张威翻译:燕子石本文是哥伦比亚大学研究生张威在生成模型上的学习笔记,由毕业于新西兰奥克兰理工大学的燕子石翻译.机器之心之前曾介绍过张威所写的吴恩达<机器学习>课程的 ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
【机器学习笔记11】高斯混合模型（GMM）【上篇】原理与推导
文章目录推荐阅读前言高斯混合模型简介 GMM与K-mean 高斯混合模型的概率密度函数几何角度混合模型角度可能会弄混的地方隐变量的分布与隐变量的后验概率分布极大似然估计 EM算法求近似 ...
机器学习笔记（二十八）：高斯核函数
凌云时刻 · 技术导读:核函数是机器学习算法中一个重要的概念.简单来讲,核函数就是样本数据点的转换函数.这一节我们来看看应用非常广泛的一个核函数,高斯核函数. 作者 | 计缘来源 | 凌云时刻(微 ...
斯坦福CS229机器学习笔记-Lecture5 - 生成学习算法+高斯判别GDA+朴素贝叶斯+拉普拉斯平滑
作者:teeyohuang 邮箱:teeyohuang@163.com 本文系原创,供交流学习使用,转载请注明出处,谢谢声明:此系列博文根据斯坦福CS229课程,吴恩达主讲所写,为本人自学笔记,写 ...
机器学习笔记之高斯混合模型(一)模型介绍
机器学习笔记之高斯混合模型--模型介绍引言高斯混合模型介绍示例介绍从几何角度观察高斯混合模型从混合模型的角度观察概率混合模型的引出从概率生成模型的角度观察高斯混合模型引言上一系列介绍 ...

机器学习笔记：高斯判别分析