最小二乘,最大似然,最大后验,查准率与查全率

最小二乘,最大似然,都带有最字,那他们之间有什么关系呢?

一.最大似然

定义:

最大似然估计(maximum likelihood estimation, MLE)一种重要而普遍的求估计量的方法.
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树通俗的认为,多次观测到的结果就是可能发生的结果,也就是观察样本概率最大的参数就是整体
分布的参数

简单的理解一下它的原理:

总的来说,最大似然就是你已经知道一个结果,反推这个出现这个结果最大的原因
公式

二.最小二乘法

定义:

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达

公式的推导计算:

最小二乘法总结

最小二乘法主要是权衡,就像在多条线中中选择一条距离最短的到达目标的直线

最大似然与最小二乘法两者之间的关系:测量误差（测量）服从高斯分布的情况下，最小二乘法等价于极大似然估计。
(这一点详细可见https://www.cnblogs.com/monoSLAM/p/5257589.html)

参考图片以及资料来自于:
https://baike.baidu.com/item/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/4967925?fr=aladdin

https://www.zhihu.com/question/20447622

https://www.jianshu.com/p/f1d3906e4a3e

https://www.jianshu.com/p/9b56ffdb9ea6

三.最大后验概率

定义:

在贝叶斯统计学中，“最大后验概率估计”是后验概率分布的众数。利用最大后验概率估计可以获得对实验数据中无法直接观察到的量的点估计。

后验在贝叶斯公式当中的位置

与最大似然的关系:

它与最大似然估计中的经典方法有密切关系，但是它使用了一个增广的优化目标，进一步考虑了被估计量的先验概率分布。所以最大后验概率估计可以看作是规则化（regularization）的最大似然估计。
Ps:这部分有待更进一步讨论,博主水平有限,仅限于讨论在此,后续会继续更新

四.查准率(精确率-Precision)与查全率(召回率-Recall)

首先我们将预测结果分为四种情况,TP,FP,TN,FN分别对应一种
我们用表格的形式来表示

真实情况	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

查准率P:

查全率R:

灵敏度

特异度

不同之处:

查全率和查准率其实主要的差别在于分母,查准率的分母是预测为正的样本数。查全率的分母是原样本的所有正样例数。

查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率就偏低；而查全率高时，查准率一般就偏低.但是也有特殊情况.

F₁调和均值

最常用的描述方法就是F₁调和均值

公式如下

F₁一般形式

如果β>1,查全率有更大影响
如果β<1,查准率有更大影响
如果β=1,两者影响力一样,公式形同F₁

最小二乘,最大似然,最大后验,查准率与查全率相关推荐

先验、后验、似然、置信的理解
先验.后验.似然.置信的理解 1. 贝叶斯公式 2. 举例 1. 贝叶斯公式公式中: 所求的是事件 A 发生条件下事件 Bi 的概率为P(Bi│A): 试验产生了原因A之后,再对结果发生概率的新认识 ...
概率论：先验与后验与似然
1.我自己的理解 1.1 从时间角度理解: a.先验:根据以往的经验或者常识,总结当前事情发生某种结果的概率,又或者说是没有根据当前的事实,而只是对以往理论的研究进行推导,类似于选举中,专家在没有对当 ...
机器学习中的先验、后验和似然
机器学习中的先验.后验和似然的概念理解 1.我自己的理解: 1)先验:统计历史上的经验而知当下发生的概率: 2)后验:当下由因及果的概率: 2.网上有个例子说的透彻: 1)先验--根据若干年的统计(经 ...
先验后验似然估计
一.完备事件组设E是随机试验,Ω是相应的样本空间,A1,A2,...An为Ω的一个事件组,若 (1)AiAj=(ij) (2)A1A2...An=Ω 则称A1A2...An为样本空间的一个完备事件组 ...
如何理解贝叶斯概率公式的先验、后验以及似然
贝叶斯概率公式最简单的情况: P(A|B)=P(B|A)*P(A)/P(B) 关于如何理解/ 记住贝叶斯公式里的先验.后验以及似然.有一个关于编译器的巧妙的例子: 假设今天Alice结束了漫长的期末复 ...
最大似然法和最小二乘法,最大后验法之间的关系
内容导读: 1.最大似然法 2.最小二乘法 3.最大后验法 4.最大似然法和最小二乘法的统一 5.最大似然法和最大后验法的关系一.最大似然法最大似然法认为,我们多次观察到的结果就是最可能发生的结果 ...
MAP 最大后验——利用经验数据获得对未观测量的点态估计
Map (最大后验) 在贝叶斯统计学中,最大后验(Maximum A Posteriori,MAP)估计可以利用经验数据获得对未观测量的点态估计.它与Fisher的最大似然估计(Maximum Lik ...
我们能从后验分布中学到什么?贝叶斯后验的频率解释
假设我们从未知分布 q 中观察到 N 个独立且同分布的 (iid) 样本 X = (x1, - , xN).统计学中的一个典型问题是"样本集 X 能告诉我们关于分布 q 的什么信息?&quo ...
概率统计16——均匀分布、先验与后验
相关阅读: 最大似然估计(概率10) 重要公式(概率4) 概率统计13--二项分布与多项分布贝叶斯决策理论(1)基础知识 | 数据来自于一个不完全清楚的过程-- 均匀分布简单来说,均匀分布是指事件 ...

最小二乘,最大似然,最大后验,查准率与查全率

一.最大似然

二.最小二乘法

三.最大后验概率