最大似然估计MLE和最大后验估计MAP理解

1、频率学派和贝叶斯派

频率学派认为参数是固定而未知的，关心似然函数。

贝叶斯派认为参数是随机的有分布的，关心后验分布。

2、MLE、MAP公式

3、参数估计-MLE

4、参数估计-MAP

MAP与MLE最大的不同在于p(参数)项，MAP将先验知识加入，优化损失函数。

5、MLE、MAP、Bayesian统一理解

ML（最大似然估计）：给定一个模型的参数，然后试着最大化p(D|参数)。即给定参数的情况下，看到样本集的概率。目标是找到使前面概率最大的参数。逻辑回归都是基于ML做的。MLE不把先验知识加入模型中。

MAP（最大后验估计）：最大化p(参数|D)。

Bayesian：考虑了所有可能的参数，即所有的参数空间（参数的分布）。

MLE和MAP的目标都是一样的：找到一个最优解，然后用最优解做预测。贝叶斯模型会给出对参数的一个分布，比如对模型的参数, 假定参数空间里有参数1、参数2、参数3、...、参数N，贝叶斯模型学出来的就是这些参数的重要性（也就是分布），然后当我们对新的样本预测的时候，就会让所有的模型一起去预测，但每个模型会有自己的权重（权重就是学出来的分布）。最终的决策由所有的估计根据其权重做出决策。

5、从统计学角度理解机器学习，不无三要素：特征工程、目标函数、模型学习，机器学习的本质是用计算机统计地估计复杂函数。

定义假设空间（Model assumption）：如线性分类，线性回归，逻辑回归，SVM，深度学习网络等。

定义损失函数（目标函数）并优化求解（如：梯度下降，牛顿法等）。

不同的模型使用不同的算法，如逻辑回归通常用梯度下降法解决，神经网络用反向推导解决，贝叶斯模型则用MCMC来解决。

机器学习 = 模型 + 优化（不同算法）

参考:

https://www.cnblogs.com/shixisheng/p/7136890.html

http://www.cnblogs.com/little-YTMM/p/5399532.html

最大似然估计MLE和最大后验估计MAP理解相关推荐

透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
文章目录相关资料一.什么是概率,什么是似然二.极大似然估计 Maximum Likelihood Estimation (MLE) 的含义 2.1 机器学习中的极大化似然函数 2.2 极大似然估 ...
参数估计：最大似然估计MLE
http://blog.csdn.net/pipisorry/article/details/51461997 最大似然估计MLE 顾名思义,当然是要找到一个参数,使得L最大,为什么要使得它最大呢,因 ...
最大似然估计MLE与贝叶斯估计
项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步大学期间学习数理统计这门课程的时候,没 ...
简单理解极大似然估计MLE
简单理解极大似然估计(MLE) 基本思想使数据集中数据出现的概率(似然)最大举例描述假设某一个新闻文档数据集下有体育.财经.游戏等分类,已知体育类下的所有文档中"篮球"一词出 ...
最大似然估计，最大后验估计，贝叶斯估计联系与区别
项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步 1.什么是参数在机器学习中,我们经常 ...
机器学习-白板推导系列(一)-绪论（机器学习的MLE(最大似然估计)和MAP(最大后验估计)）
频率学派 - Frequentist - Maximum Likelihood Estimation (MLE,最大似然估计) 贝叶斯学派 - Bayesian - Maximum A Posteri ...
Python实现极大似然估计
概念现实中任何随机变量的概率分布函数都是未知的. 如果假定随机变量服从某种分布(如正态分布),可以通过统计手段来计算该分布的参数,这种方法称为参数估计. 极大似然估计(Maximum Likelih ...
机器学习基础——先验概率、后验概率和似然估计的讲解；频率派和贝叶斯派之分；以及MLE和MAP方法的解析
1.先验概率假定 B 1 , B 2 , - , B n B_1,B_2,\ldots ,B_n B1,B2,-,Bn是某个过程所有可能的前提条件,也就是 B 1 , B 2 , - , B ...
一文看懂 “极大似然估计” 与 “最大后验估计” —— 极大似然估计篇
参考: 唐宇迪<人工智能数学基础>第8章 Richard O. Duda <模式分类>第三章白板机器学习 P2 - 频率派 vs 贝叶斯派频率学派还是贝叶斯学派?聊一聊机器 ...

最大似然估计MLE和最大后验估计MAP理解

最大似然估计MLE和最大后验估计MAP理解相关推荐

最新文章

热门文章