https://www.toutiao.com/a6649579620909711879/

2019-01-23 14:45:03

经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我“怎样快速入门人工智能呢？”

对于这样的问题，我我又要“老生常谈”了——作为一门庞大而又繁杂的综合学科，学习的过程一定需要逐步理解、逐层深入。一蹴而就是不可能的。

今天就给你们讲一个在机器学习中重要的方法——极大似然估计。这是一个，能够让你拥有拟合最大盈利函数模型的估计方法哦！

现实意义

在机器学习中，我们经常会使用一个模型来描述生成数据的过程。

例如，我们可以使用一个随机森林模型来分类客户是否会取消订阅服务（流失建模）；又或者我们可以用线性模型，再根据公司的广告支出来预测公司的收入（线性回归）。

每个模型都包含自己的一组参数，这些参数最终决定了模型本身。也就是只有将参数选定为特定值时，才能得到描述当前现象的模型实例。

原理

极大似然估计则为以上情况提供了一种给定观察数据来评估模型参数的方法，即：模型已定，参数未知。

通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

定义

设整体分布为f（x,θ），X1，X2，X3···Xn为该总体采样得到的样本。因为X1，X2，X3···Xn独立同分布，于是，它们的联合密度函数为：

此时，θ被看作固定但未知的参数，而样本是已经抽取存在的，可以将X1，X2，X3···Xn看作是固定的。那么，L（x,θ）就是关于θ的函数，即似然函数。而求参数θ的值，使得似然函数取极大值的方法就是极大似然估计。

求解方法

对似然函数求导，得到对数似然函数。若对数似然函数可导，则可以通过求导的方式，解下列方程组，得到驻点，然后分析该驻点是极大值点：

称为参数

的极大似然估计值，其相应的统计量

称为

的极大似然估计量。极大似然估计简记为MLE或

。

几种常见分布的极大似然估计

1.二项分布

已知10次抛硬币的结果如下：

正正反正正正反反正正

设p是抛到正面的结果的概率，则得到这一实验结果的概率为

对该式子求导，得到最优解为0.7。

2.均匀分布

设样本服从均匀分布[a, b]。则X的概率密度函数为

根据最大似然函数的公式L（x,θ），得到对于

很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值。

为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于

，否则L(a,b)=0。类似的，a不能大过

，因此，a和b的极大似然估计：

3.高斯分布（正态分布）

若给定一组样本X1，X2，X3···Xn，已知它们来自于高斯分布

，根据最大似然函数的公式L（x,θ），以及高斯分布的概率密度

将Xi的样本值xi带入，得到

进行化简

即

再对

求偏导，得到

可以看出，上述结论和矩估计的结果是一致的，并且意义非常直观：样本的均值及高斯分布的均值，样本的伪方差即高斯分布的方差。

该结论将在期望最大化算法、GMM高斯混合模型中继续使用。

求最大似然估计量的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。

极大似然估计的特点

1.比其他估计方法更加简单；

2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

最大似然估计和贝叶斯估计

听到这里，许多同学可能会想起另一种估计方法——贝叶斯估计，即以贝叶斯公式为基础的估计方法：

实际的模式识别问题中，我们应如何选择使用哪种模型呢？下面简单分析一下：

（1）在先验概率能保证问题有解的情况下，最大似然估计和贝叶斯估计在训练样本趋近于无穷时得到的结果是一样的。

（2）最大似然估计的计算复杂度比贝叶斯估计小得多，只需要使用到简单的微分运算即可，而在贝叶斯估计中则需要用到非常复杂的多重积分。此外，贝叶斯估计相对来说也更难理解。

（3）当采用的样本数据很有限时，贝叶斯估计误差更小，毕竟在理论上，贝叶斯估计有很强的理论和算法基础。

人工智能科普｜极大似然估计——机器学习重要知识点相关推荐

【机器学习基础】深入理解极大似然估计(MLE) 1: 引入问题
导读:极大似然估计(MLE) 是统计机器学习中最基本的概念,但是能真正全面深入地理解它的性质和背后和其他基本理论的关系不是件容易的事情.极大似然估计和以下概念都有着紧密的联系:随机变量,无偏性质(un ...
envi最大似然分类_闲谈最大后验概率估计（MAP estimate）amp;极大似然估计（MLE）和机器学习中的误差分类...
上一篇文章中提到了一个有趣的实验,简单来说就是1-100中有若干个数字是"正确的",只告诉其中一部分"正确的"数字,去猜全部"正确的"数字. ...
机器学习 —— 极大似然估计与条件概率
今天在研究点云分割的时候终于走完了所有的传统路子,走到了基于机器学习的分割与传统自底向上分割的分界点(CRF)算法.好吧,MIT的老教授说的对,其实你很难真正绕过某个问题,数学如是,人生也如是. -- ...
机器学习强基计划4-2：通俗理解极大似然估计和极大后验估计+实例分析
目录 0 写在前面 1 从一个例子出发 2 极大似然估计 3 极大后验估计 4 Python实现 0 写在前面机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用."深" ...
机器学习笔记---从极大似然估计的角度看待Logistic回归
前言看完极大似然估计后,想起Logistic回归中的参数估计就是使用这个方法,因此详细的记录整个推导的过程.[公式可以移动,若不能,可以切换横屏] 本文约1.4k字,预计阅读10分钟 Logisti ...
机器学习番外篇（1）：极大似然估计和最小二乘法
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来,欢迎大家关注我的个人博客,以及我的github. 番外篇的内容主要是讲解一些在机器学习中经常会用到但是比较边缘化的知识,或者是某几个知识 ...
机器学习之极大似然估计详解
文章目录前言极大似然原理极大似然估计极大似然估计的应用及推导推导联合概率是什么求极大似然估计值$\hat\theta$的一般步骤前言极大似然估计在机器学习中很多模型都会用到,理解了极 ...
机器学习基础：极大似然估计高斯参数
机器学习基础:极大似然估计数据参数估计均值参数估计方差数据设DataSet:X={(x1,y1),(x2,y2),(x3,y3)-(xn,yn))},其中xi∈Rpxi \in R^pxi∈ ...
机器学习算法（1）——贝叶斯估计与极大似然估计与EM算法之间的联系
极大似然估计在讲解极大似然估计前,需要先介绍贝叶斯分类: 贝叶斯决策: 首先来看贝叶斯分类,经典的贝叶斯公式: 其中:p(w)为先验概率,表示每种类别分布的概率:是条件概率,表示在某种类别前提下,某 ...

人工智能科普｜极大似然估计——机器学习重要知识点

现实意义

原理

定义

求解方法

几种常见分布的极大似然估计

极大似然估计的特点

人工智能科普｜极大似然估计——机器学习重要知识点相关推荐

最新文章

热门文章

人工智能科普｜极大似然估计——机器学习重要知识点

现实意义

原 理

定 义

求解方法

几种常见分布的极大似然估计

极大似然估计的特点

人工智能科普｜极大似然估计——机器学习重要知识点相关推荐

最新文章

热门文章

原理

定义