ML 12 13 mixture of gaussions and EM

先来看下普通的EM算法:
该算法的目的是给的一些样本点,然后反推符合这些样本点所属分布函数们(可能有多个)的参数

z(i)=jz^{(i)}=j表示是第jj个分布函数,Qi(z(i)=j)Q_i(z^{(i)}=j)表示第i个点属于第j个分布函数的概率,ii表示对第i个点而言,可以把z当成向量,i表示z的第i个分量

为了使这里的不等式变成等式,那么

通过这里的不等式变等式(E step),在确定了分布函数们的参数Θ\Theta的情况下, 我们求得了分布函数们被选择的概率QiQ_i

接着,在确定分布函数们被选择的概率情况下,我们通过最大似然法求出每个分布概率的参数Θ\Theta,然后一直迭代,直到收敛.

下面,我们来看下EM的特殊情况,mixture of gaussions

同理对ϕ,ϵ\phi,\epsilon求偏导并使其为0,就可以得到m-step

最后给出完整mixture of gaussions的EM算法

这里有两个高斯函数

注意这里ϕj\phi_j代表分布函数jj被选择的概率

这一步求w(i)jw_j^{(i)}即点i属于高斯函数j的概率
注意p(z(i)=j)p(z^{(i)}=j)与p(z(i)=j|x(i))p(z^{(i)}=j|x^{(i)})两个概率的区别.
p(z(i)=j)p(z^{(i)}=j)表示高斯函数j被选择的概率
p(z(i)=j|x(i))p(z^{(i)}=j|x^{(i)})表示点i属于高斯函数j的概率

举个例子说明下, 有三个箱子,每个箱子装有球,
p(z(i)=1)p(z^{(i)}=1)表示箱子1被选择的概率
p(z(i)=1|x(i))p(z^{(i)}=1|x^{(i)})表示在摸出第i球的情况下,球属于第1个箱子的概率

这一步就求每个分布函数的参数: 幅度,均值,方差

ML 12 13 mixture of gaussions and EM相关推荐

以人为本的机器学习：谷歌人工智能产品设计概述 By 机器之心2017年7月17日 12:13 取代了手动编程，机器学习（ML）是一种帮助计算机发现数据中的模式和关系的科学。对于创建个人的和动态的经历
以人为本的机器学习:谷歌人工智能产品设计概述 By 机器之心2017年7月17日 12:13 取代了手动编程,机器学习(ML)是一种帮助计算机发现数据中的模式和关系的科学.对于创建个人的和动态的经历来 ...
【Vegas原创】导出Excel时，如何将数字格式转为文本格式？(07.12.13 Update)
DataGrid: Asp.Net WebForm中DataGrid导出的时候,在ItemDataBound内 if(e.Item.ItemType == ListItemType.Item || ...
PTA浙大版python程序设计题目集--第2章-1 计算 11+12+13+...+m (30 分)
输入一个正整数m(20<=m<=100),计算 11+12+13+-+m 的值. 输入格式: 在一行输入一个正整数m. 输出格式: 在一行中按照格式"sum = S"输 ...
算法导论练习 10.4-5及12.1-3
//算法导论10.4-5及12.1-3 //1. 10.4-5 //给定一个n节点的二叉树,写出一个O(n)时间的非递归过程,将该树每个节点的关键 //字输出.要求除该树本身的存储空间外只能使用固定量 ...
二叉树的中序遍历非递归方法（算法导论第三版12.1-3）
二叉树的中序遍历非递归方法(算法导论第三版12.1-3) 1⃣️用栈实现 template<typename T> void inorder_tree_walk_non_recursion ...
13新功能_再聊聊灵感盒 -Marginnote 3.6.12/13新功能
我是夜雨,水群最多的一类人本文主要BB了我对灵感盒的理解 Marginnote 3.6.12/13 个人之前对灵感盒的理解在此强调开发者的一句话不要对灵感盒做太多高大上的引申灵感盒只不过是新的 ...
12.13记录//QQDemo示例程序源代码
笔记的完整版pdf文档下载地址: https://www.evernote.com/shard/s227/sh/ac692160-68c7-4149-83ea-0db5385e28b0/5742995 ...
python 整数输出 d f_如何将数字(10,11,12,13,14,15)分配给Python 3中的字母(A，B，C，D，E，F)？...
您可以在代码中添加更多行来执行此操作: 首先创建两个带有字符的列表,一个带有要映射的整数,然后从那些创建dict: list_1=["A","B"," ...
springboot 做表白墙_经贸吐槽墙 |2020.12.13
您有N条来自cueber的吐槽请注意查收吐槽墙是个网站,可以随意去发吐槽墙推送,就是本文,将选择性刊登上面的内容除了涉及敏感意识形态.宗教.民族等不予刊登一切关于艺人.歌手.明星等话题推送将 ...

ML 12 13 mixture of gaussions and EM

ML 12 13 mixture of gaussions and EM相关推荐

最新文章

热门文章