【机器学习系列】GMM第一讲：两个角度认识高斯混合模型
作者：CHEONG
公众号：AI机器学习与知识图谱
研究方向：自然语言处理与知识图谱
文中含有大量公式，若需要获取含公式原稿Word文档，可关注公众号【AI机器学习与知识图谱】后回复：GMM第一讲，可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！
本文先从两个角度简单认识一下高斯混合模型。下一章将详细介绍高斯混合模型的Learning问题解法。
一、几何角度
高斯混合模型可以看成是多个高斯分布叠加而成，即多个高斯分布的加权值，用公式表示为：
其中N(uk,Σk)N(u_k, \Sigma_k)N(uk,Σk)表示第k个高斯分布，αk\alpha_kαk表示第k个高斯分布在混合高斯模型中占得权重大小。看下图，每个彩色的线条代表一个一个高斯分布模型，多个彩色的高斯模型叠加组成了黑色的线，即混合高斯模型。我们可以清晰的将下图和上面高斯混合模型公示对应起来。
上图展示的是一维高斯分布叠加而成的高斯混合模型，下图展现一个由两个二维高斯分布叠加组成的高斯混合模型：
二、混合模型角度
对于混合模型，需要在观测变量X的基础上引入隐变量Z，隐变量Z的含义表示混合高斯分布中的样本属于哪一个高斯分布的概率大小。如果我们假设Z是离散随机变量，若混合高斯分布中共由K个高斯分布组成，则有：
| C/高斯分布 | c1c_1c1 | c2c_2c2 | … | ckc_kck |
|---|---|---|---|---|
| z | 1 | 2 | … | k |
| P(z) | p1p_1p1 | p2p_2p2 | … | pkp_kpk |
表格中展现某个高斯混合模型由c1,c2,...,ckc_1,c_2,...,c_kc1,c2,...,ck个高斯分布组成，而z隐变量含义是某个样本属于第i个高斯分布的概率是pip_ipi，而且有：
我们可以从样本生成角度再理解一下隐变量Z的含义：假设现在有一个k面不均匀的骰子，用这个骰子生成样本数据，这个骰子每个面代表一个高斯分布。由于骰子k面不均匀，所以每个面被掷中的概率分别为p1,p2,...,pkp_1,p_2,...,p_kp1,p2,...,pk，这样通过多次投掷骰子就可以得到一批样本，而这批样本组成的便是上表提到的那个高斯混合模型。
【机器学习系列】GMM第一讲：两个角度认识高斯混合模型相关推荐
- 【直播回顾及资料下载】小程序云应用入门实操系列课程第一讲...
直播详情:小程序云应用入门实操系列课程第一讲:https://yq.aliyun.com/articles/698244 直播时间:2019年4月16日 20:30 直播专家: 白宦成 - Linux ...
- 百面机器学习—7.K均值算法、EM算法与高斯混合模型要点总结
文章目录 一.总结K均值算法步骤 二.如何合理选择K值? 三.K均值算法的优缺点是什么? 四.如何对K均值算法进行调优? 五.EM算法解决什么问题? 六.EM算法流程是什么? 六.EM算法能保证收敛嘛 ...
- gmm的java实现_4. EM算法-高斯混合模型GMM详细代码实现
1. 前言 EM的前3篇博文分别从数学基础.EM通用算法原理.EM的高斯混合模型的角度介绍了EM算法.按照惯例,本文要对EM算法进行更进一步的探究.就是动手去实践她. 2. GMM实现 我的实现逻辑基 ...
- CODING 敏捷实战系列课第一讲：正本清源——敏捷的为什么
随着数字化浪潮及软件技术的持续发展进化,在充满变化和未知的时代背景之下,敏捷产品开发及新的价值交付及团队共创方式应运而生.CODING 邀请 UPerform 优普丰创始人 & CEO 李国彪 ...
- 机器学习系列2：从线性方程的角度看的线性回归【1】
1 从方程说起 我这里先不谈线性回归,就面对一个简简单单的方程,看你能不能解吧. ...
- 【天池直播】图像系列直播第一讲--带你入坑深度学习
天池医疗AI大赛以"人工智能辅助医疗决策"为主题,围绕全球第一高发恶性肿瘤--肺癌,以肺部小结节病变的智能识别.诊断为课题,通过胸部CT影像(mhd格式),检测CT影像中的肺部结节 ...
- 【云原生系列】第一讲：什么是云计算
序言 文章颜色说明: 一.为什么要有云计算 1.1 背景 1.1.1 硬件设备复杂程度越来越高 1.1.2 运维复杂程度越来越高 2 云计算定义 2.1 常规定义: 2.2 (NIST)定义: 3 云 ...
- 【机器学习笔记11】高斯混合模型（GMM）【上篇】原理与推导
文章目录 推荐阅读 前言 高斯混合模型简介 GMM与K-mean 高斯混合模型的概率密度函数 几何角度 混合模型角度 可能会弄混的地方 隐变量的分布与隐变量的后验概率分布 极大似然估计 EM算法求近似 ...
- 机器学习基石第一讲：the learning problem
博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) Andrew Ng的Machine Learning比較简单,已经看完.林田轩的机器 ...
- 产品研发的体系构建与研发过程管理第一讲
产品研发的体系构建与研发过程管理 管理理论发展 产品(包)的构成 IPD集成产品开发 本篇文章为睿慕课创始人周朔鹏老师的<产品研发的体系构建与研发过程管理>系列讲座第一讲的精简知识点汇总. ...
最新文章
- 三、查找、替换、定位
- 【机器学习算法-python实现】svm支持向量机(2)—简化版SMO算法
- Android中文API (60) —— DatePicker.OnDateChangedListener
- SAP Leonardo图片处理相关的机器学习服务在SAP智能服务场景中的应用
- mysql游标遍历中sql语句出现异常_MySQL中的异常处理,游标
- 纽约州立大学石溪分校将理论物理研究所命名为“杨振宁理论物理研究所”
- ROS基本概念 文件系统 创建ROS软件包 ROS中的一些命令
- Laravel中的env函数获取不到确定存在的配置
- 关于JAVA输入输出流造成的Runtime线程阻塞问题【新人笔记】
- Add Juniper SRX Cluster into JunOS Space 16.1 Security Director
- Chrome浏览器书签同步配置方法
- python中气泡图文字标签_Excel中制作气泡图及为气泡图的系列数据点添加文本数据标签...
- 【干货分享】使用Inno Setup设计扁平化风格的安装包
- Oracle 之利用BBED修改数据块SCN----没有备份数据文件的数据恢复
- Leecode159:至多包含两个不同字符的最长子串
- 黑苹果 wifi android,黑苹果目前已可以完美驱动内置intel WiFi
- java around_基于Annotation的Spring AOP: @Around | 学步园
- DDTW 导数动态时间规整算法
- R语言实战笔记 多项式回归
- TOEFL 备考资料网站