伽马分布极大似然估计_一文通俗解释极大似然估计

我们都知道机器学习的大致流程是通过建立一个合理的模型学习现有数据集，然后通过该模型去完成特定的任务。其中每个模型都包含自身的一组特定参数，而这组参数决定着模型的本身。但这里存在一个很关键的一个问题，就是我们如何去找到一组参数使得模型能够最好的去拟合现有数据集呢？针对上述问题，极大似然估计为我们提供了一种很好的解决思路，本文将给大家解释极大似然估计的原理和分析步骤。01背景概念介绍

02极大似然估计原理解释

给定一个数据集(某个概率分布下的一系列采样点，所有的采样都是独立同分布的)，我们能求得一个关于模型参数的估计，而极大似然估计可以通过观察当前数据来估计模型的最佳参数，换句话也就是说在所有的模型参数取值中，寻找到一个参数使得该数据集样本发生的可能性最大。

现实生活中也经常用到极大似然估计，在这里跟大家分享一下小编的一段亲身经历：

在天气晴朗的某一天，身为大好青年的小编早早的去了图书馆学习。就在小编认真看书的同时，发现一位同班女同学老是偷偷盯着小编看，小编这下坐不住了，仔细回想了最近发生的一系列事件：她老偷偷在我微信下面评论；她老是偷看我空间；她上次请我喝奶茶；她经常约我跑步；她说想请我看复联，我心想: 她会不会喜欢我，喜欢我的概率大不大呢？小编经过分析得出来的结果是她很有可能暗恋小编。请注意，小编在这里不是自恋，而是运用了严谨的数学分析来讨论这个问题的本质，使用的分析方法就是极大似然估计法。因为导致上述事件发生概率最大的模型参数就是该女同学暗恋小编。最后，不同大家动手，我自己能醒过来。

03举例分析

下面小编举几个正经的例子，大家熟悉的抛硬币问题，为了严谨起见，我们事先假设硬币的正反面轻重不同，所以抛一次得到正反面的概率不同。对于一个独立同分布的数据集，总体的似然就是每个样本似然的乘积，对于抛硬币问题，我们可以构造似然函数如下：

在这里我们有三枚硬币A、B、 C, 其中其抛到正面的概率p分别为1/3，1/2，2/3. 我们选择其中一枚去做100次抛硬币实验，最后得到正面朝上的次数为40，反面朝上的次数为60。我们该如何去判断是我们选择的是A、B、C中的那一枚呢？在这里使用极大似然估计，我们分别计算其似然函数结果如下：

我们看到选择A硬币导致似然函数的结果最大，也就是说参数的时候似然函数取得最大值，所以其就是针对该次实验的最大似然估计参数值。

由于对数函数操作不会改变函数的凹凸性，所以通常为了求解方便，我们会将上述指数函数的形式的似然函数转化为对数似然函数：

这里只是举了一个离散分布的例子，下面举一个连续分布的例子

对于正态分布，其似然函数如下：

转换成对数似然函数：

分别两个参数求一阶偏导，令其等于0求解下列方程：

得到驻点下对应的参数值：

上述求解参数值就是对正态分布的最大似然估计值。

总Lead结

最后我们在这里总结一下极大似然估计方法的步骤：

设计并确定似然函数
转换成对数似然函数
求偏导，并令偏导等于0，计算函数取极大值的参数值。

极大似然估计的介绍到这里就告一段落，极大似然估计在机器学习的使用十分广泛，大家可以去看一下逻辑回归参数更新的推导，其就用到了极大似然估计，下方也会给大家推荐一个参考链接。下一次将给大家结束最大后验估计和贝叶斯估计，由于小编的水平有限，所以难免会出错，欢迎大家的批评与指导。

参考连接

1. https://zhuanlan.zhihu.com/p/26614750

2. https://blog.csdn.net/star_liux/article/details/39666737

更多精彩推荐，请关注我们 ▼

伽马分布极大似然估计_一文通俗解释极大似然估计相关推荐

一文看懂 “极大似然估计” 与 “最大后验估计” —— 极大似然估计篇
参考: 唐宇迪<人工智能数学基础>第8章 Richard O. Duda <模式分类>第三章白板机器学习 P2 - 频率派 vs 贝叶斯派频率学派还是贝叶斯学派?聊一聊机器 ...
极大似然估计_一文读懂矩估计，极大似然估计和贝叶斯估计
概率论和数理统计是机器学习重要的数学基础. 概率论的核心是已知分布求概率,数理统计则是已知样本估整体. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 数理统计最常见的 ...
干货 | 一文搞懂极大似然估计
极大似然估计,通俗理解来说,就是在假定整体模型分布已知,利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值! 换句话说,极大似然估计提供了一种给定观察数据来评估模型参数 ...
一文搞懂极大似然估计
极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值! 换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:" ...
原创 | 一文读懂泊松分布，指数分布和伽马分布
本文约3400字,建议阅读6分钟本文以简单直白的方式让大家能够理解泊松分布,指数分布和伽马分布的实际含义和作用,并且由此推导其概率密度函数. 在开始之前,我们需要预习一下二项分布. 还是丢硬币的例子 ...
泊松过程、伽马分布、贝塔分布及狄利克雷分布
泊松过程.伽马分布.贝塔分布及狄利克雷分布 1.泊松过程 1.1Poisson过程的定义 1.2Poisson过程的应用 2.伽马分布 2.1伽马分布的定义 2.2伽马分布的性质 2.3伽马分布与其他 ...
matlab伽马分布,gamma函数 Gamma/伽马函数，伽马分布
伽玛函数(Gamma函数),也叫欧拉第二积分,是阶乘函数在实数与复数上扩展的一类函数.该函数在分析学.概率论.偏微分方程和组合数学中有重要的应用.与之有密切联系的函数是贝塔函数,也叫第一类欧拉积分.可 ...
从二项分布到伽马分布
从二项分布到伽马分布二项分布二项分布是指 nnn 个独立的伯努利试验中成功次数的离散概率分布,其中每次试验的成功概率为 ppp P(X=k)=f(k,n,p)=(nk)pk(1−p)n−kP(X= ...
极大似然估计_计量经济学 | 极大似然估计
写在前面:本文写作于被新冠病毒 (COVID-19) 笼罩下的英国.前段时间本人的恩师.苏格兰老爷爷.英国伯明翰大学Emeritus讲席教授Peter Sinclair确诊新冠病毒,实乃不幸.在此祝P ...

伽马分布极大似然估计_一文通俗解释极大似然估计

伽马分布极大似然估计_一文通俗解释极大似然估计相关推荐

最新文章

热门文章