阿正入门深度学习---从EM算法开始

2024-04-26 15:49:10

一.最大似然估计基础

简言之：找出与样本分布最接近的概率分布模型

结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用 θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：
P(x|θ)
P(x|θ)
是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：

最大似然估计会寻找关于 θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不低估的θ值。

以二项分布的最大似然估计为例
场景：在投硬币实验中，进行N次独立实验，n次朝上，N-n次朝下
模型建立：假定朝上概率为p，使用对数似然函数作为目标函数:

最大似然估计：以p为变量求模型最大值。对p求导数，得出最大值下的p=n/N

二.Jesen不等式

关于凸函数的不等式

三.基本概念

完全数据：观测随机变量的数据（上图中出现的九正一反）以及表示隐随机变量的数据（使用哪个硬币），两者连在一起称为完全数据

不完全数据：只出现观测数据而不出现隐随机变量数据就叫做不完全数据

四.EM算法

EM算法是一种迭代算法，用于含有隐变量的概率模型的极大似然估计，或者说是极大后验概率估计。

EM算法的具体流程如下：

输入：观测变量数据Y，隐变量数据Z，联合分布P(Y, Z|θ)，条件分布P(Z|Y, θ)，隐变量如一堆银币正反面样本中，样本不只有正反面，还有硬币的特征如港币、人民币等，港币，人民币也是影响估计参数结果的变量，称为隐变量。

输出：模型参数θ

1）选择参数θ的初始值θ(0)，开始迭代

2）E步：记θ(i)次迭代参数为θ的估计值，在第i+1次迭代的E步，计算（基于当前求得的模型参数θ猜测隐变量的期望值，因此E步也称为期望步）

3）M步：求使得Q函数极大化的θ值，确定第i+1次迭代的参数的估计值θ(i+1)

4）重复2, 3步直至收敛

注意：EM算法是对初始化参数敏感的
　　
推导过程参见 EM算法推导过程

五.EM算法skitlearn实现

TO DO…

阿正入门深度学习---从EM算法开始相关推荐

零基础入门深度学习(3) - 神经网络和反向传播算法
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...
心得丨老生常谈：普通程序员到底如何入门深度学习？
作为一名软件工程师,我们应该活到老学到老,时刻与不断发展的框架.标准和范式保持同步.同时,还要能活学活用,在工作中使用最合适的工具,以提高工作效率.随着机器学习在越来越多的应用程序中寻得了一席之地,越 ...
深度学习实战_五天入门深度学习，这里有一份PyTorch实战课程
这是一门五天入门深度学习的实战课程. 想入门深度学习的小伙伴有福了!dataflowr 最近推出了一门五天初步掌握深度学习的实战教程(实战使用 PyTorch 框架),有知识点有实例有代码,值得一看. ...
专访DeepID发明者孙祎：关于深度学习与人脸算法的深层思考
专访DeepID发明者孙祎:关于深度学习与人脸算法的深层思考发表于2015-11-18 09:51 作者周建丁 CNN卷积神经网络DeepID人脸算法深度学习孙祎Linkface 摘要:DeepID ...
【百家稷学】从传统方法到深度学习，人脸算法和应用的演变（河南平顶山学院技术分享）...
继续咱们百家稷学专题,本次聚焦在人脸方向.百家稷学专题的目标,是走进100所高校和企业进行学习与分享. 分享主题本次分享是在河南平顶山学院,主题是<从传统方法到深度学习,人脸算法和应用的演变& ...
一篇文章入门深度学习框架PyTorch
一篇文章入门深度学习框架PyTorch 1 Tensor(张量) 2 Variable(变量) 3 Dataset(数据集) 4 nn.Module(模组) 5 torch.optim(优化) 一阶优 ...
零基础入门深度学习的五篇经典教程
零基础入门深度学习>系列文章旨在讲帮助爱编程的你从零基础达到入门级水平.零基础意味着你不需要太多的数学知识,只要会写程序就行了,没错,这是专门为程序员写的文章.虽然文中会有很多公式你也许看不懂, ...
零基础入门深度学习(5) - 循环神经网络
往期回顾在前面的文章系列文章中,我们介绍了全连接神经网络和卷积神经网络,以及它们的训练和使用.他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的.但是,某些任务需要能够更好的 ...
零基础入门深度学习(7) - 递归神经网络
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...
零基础入门深度学习(4) - 卷积神经网络
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...

最新文章

热门文章