机器学习笔记--GMM模型
1. 高斯分布的一些结论：
利用似然估计对一组符合高斯分布的数据进行分析，得到其均值的估计就是样本的均值，方差的估计就是样本方差。
具体推导如下
高斯分布的概率密度函数为
，
对一组符合高斯分布的样本进行似然估计，将样本代入概率密度函数，有目标函数
转换成对数似然
分别对均值和方差求导，可以得到
高斯混合模型是由多个高斯模型混合。其目标函数
这表明一个样本多个不同比重的高斯分布混合形成的，每个高斯分布对样本的贡献，可以这样做
这其实就是样本属于某一个高斯分布的概率。
所以高斯混合模型的参数估计可以分成两步做
第一步是先验的给出均值和方差，还要先验的给出每个高斯分布出现的概率。然后计算每一个样本属于某个高斯分布的概率，这是可以求得，因为我们先验的给出了每一个高斯分布的均值和方差，只要把样本值代进上式，就能计算出该样本属于每一个高斯分布的概率。
第二步是根据样本更新参数。
此处详见李航-统计学习方法165页
对于混合高斯模型，举个简单的例子。对于10000个男女生样本，他们的身高都服从高斯分布，也就是男生的身高服从一个高斯分布，女生的身高服从一个高斯分布。估计这两个高斯分布的均值和方差。
第一步，先验的给出女生和男生样本的概率和女生身高所服从的高斯分布的均值和方差，男生身高所服从的高斯分布的均值和方差。然后对于每一个样本，计算属于男生的概率和属于女生的概率。这样我们可以算出所有样本的概率。
第二步，用样本值分别乘上该样本属于男生和女生的概率，这样一个样本可以得到两个值，分别代表了属于男生和属于女生。然后用所有样本的属于男生的那部分作为新的样本集估计男生的概率密度分布的均值和方差，用所有样本的属于女生的那部分作为新的样本集估计女生的概率密度分布的均值和方差。但是要注意的一点是
在计算均值是n并不是1000，而应该是所有样本的那些属于男生的概率之和，记为N男。而N男/10000，就是新的男生出现的概率。女生同理。
这样得到的均值和方差就带有了样本的一些信息，比之前先验的给出更加的符合样本。
机器学习笔记--GMM模型相关推荐
- 【机器学习】GMM模型的直观推导（含中间步骤）
概率论和数理统计是一对兄弟:概率论负责在已知分布函数的情况下研究样本:数理统计负责在已知样本的情况下,反推分布函数的特性.假设我们获取了样本数据,同时知道分布函数的大概形式,只是不知道分布函数的参数, ...
- 机器学习笔记(二)模型评估与选择
2.模型评估与选择 2.1经验误差和过拟合 不同学习算法及其不同参数产生的不同模型,涉及到模型选择的问题,关系到两个指标性,就是经验误差和过拟合. 1)经验误差 错误率(errorrate):分类错误 ...
- 机器学习笔记之——模型评估与改进之评估指标与评分
评估指标与评分 到目前为止,我们使用精度(正确分类的样本所占的比例)来评估分类性能,使用 R2 来评估回归性能.但是,总结监督模型在给定数据集上的表现有多种方法,这两个指标只是其中两种.在实践中,这些 ...
- 【机器学习笔记】 模型评估：查准率、查全率和F1
前言 错误率与精度经常用来衡量一个模型的好坏,但这两项指标并不能满足所有的需求.以西瓜书中的例子来说,农夫拉来一车西瓜,错误率可以衡量出有多少比例的瓜被判别错误,而我们关心的是好瓜,或说好瓜中有多少比 ...
- 机器学习笔记三—卷积神经网络与循环神经网络
系列文章目录 机器学习笔记一-机器学习基本知识 机器学习笔记二-梯度下降和反向传播 机器学习笔记三-卷积神经网络与循环神经网络 机器学习笔记四-机器学习可解释性 机器学习笔记五-机器学习攻击与防御 机 ...
- EM 算法与 GMM 模型
EM算法与GMM模型 – 潘登同学的Machine Learning笔记 文章目录 EM算法与GMM模型 -- 潘登同学的Machine Learning笔记 GMM模型 单高斯模型 GM的参数估计( ...
- 【机器学习笔记11】高斯混合模型（GMM）【上篇】原理与推导
文章目录 推荐阅读 前言 高斯混合模型简介 GMM与K-mean 高斯混合模型的概率密度函数 几何角度 混合模型角度 可能会弄混的地方 隐变量的分布与隐变量的后验概率分布 极大似然估计 EM算法求近似 ...
- 机器学习笔记之高斯混合模型(一)模型介绍
机器学习笔记之高斯混合模型--模型介绍 引言 高斯混合模型介绍 示例介绍 从几何角度观察高斯混合模型 从混合模型的角度观察 概率混合模型的引出 从概率生成模型的角度观察高斯混合模型 引言 上一系列介绍 ...
- 机器学习笔记之概率图模型(四)基于贝叶斯网络的模型概述
机器学习笔记之概率图模型--基于贝叶斯网络的模型概述 引言 基于贝叶斯网络的模型 场景构建 朴素贝叶斯分类器 混合模型 基于时间变化的模型 特征是连续型随机变量的贝叶斯网络 动态概率图模型 总结 引言 ...
最新文章
- vue native
- 嵌入式Tomcat容器的参数(maxParameterCount)设定
- 机器学习——KNN实现
- 使用Beetle简单构建聊天室程序
- python getcwd 与dirname_Python中获取路径os.getcwd()和os.path.dirname(os.path.realpath(__file__))的区别和对比...
- Silverlight读取Zip文件中的图片与视频
- Win10 WSL编译Android开启ccache(提高编译速度)
- 利用oc门或od门实现线与_OC和OD门、线与和线或
- Windows 下Redis客户端可视化工具-Redis Desktop Manager
- 树莓派python串口收发数据
- 计算机组装要哪些硬件,DIY组装电脑要买哪些硬件
- ndows phone,Windows Phone 7
- 模拟信号数字化传输系统的设计与仿真分析说明书
- 中国居民身份证号码检验程序
- 抛弃光驱，让你的U盘变光驱,制作USB-CDROM，用U盘安装系统
- VirtualBox虚拟机下载
- Composer -- PHP依赖管理的新时代
- Visual Studio 2019 设置背景图
- Android10 SystemUI状态栏网络图标流程分析
- 2011年2月14日 业界新闻摘要