机器学习--似然函数详解

最近在研究一些概率论的东西，今天说一说似然函数。

常说的概率是指给定参数后，预测即将发生的事件的可能性。拿硬币这个例子来说，我们已知一枚均匀硬币的正反面概率分别是0.5，要预测抛两次硬币，硬币都朝上的概率：

H代表Head，表示头朝上

p(HH | pH = 0.5) = 0.5*0.5 = 0.25.

这种写法其实有点误导，后面的这个p其实是作为参数存在的，而不是一个随机变量，因此不能算作是条件概率，更靠谱的写法应该是 p(HH;p=0.5)。

而似然概率正好与这个过程相反，我们关注的量不再是事件的发生概率，而是已知发生了某些事件，我们希望知道参数应该是多少。

现在我们已经抛了两次硬币，并且知道了结果是两次头朝上，这时候，我希望知道这枚硬币抛出去正面朝上的概率为0.5的概率是多少？正面朝上的概率为0.8的概率是多少？

如果我们希望知道正面朝上概率为0.5的概率，这个东西就叫做似然函数，可以说成是对某一个参数的猜想（p=0.5）的概率，这样表示成(条件)概率就是

L(pH=0.5|HH) = P(HH|pH=0.5) = （另一种写法）P(HH;pH=0.5).

为什么可以写成这样？我觉得可以这样来想：

似然函数本身也是一种概率，我们可以把L(pH=0.5|HH)写成P(pH=0.5|HH); 而根据贝叶斯公式，P(pH=0.5|HH) = P(pH=0.5,HH)/P(HH)；既然HH是已经发生的事件，理所当然P(HH) = 1,所以：

P(pH=0.5|HH) = P(pH=0.5,HH) = P(HH;pH=0.5).

右边的这个计算我们很熟悉了，就是已知头朝上概率为0.5，求抛两次都是H的概率，即0.5*0.5=0.25。

所以，我们可以safely得到:

L(pH=0.5|HH) = P(HH|pH=0.5) = 0.25.

这个0.25的意思是，在已知抛出两个正面的情况下，pH = 0.5的概率等于0.25。

再算一下

L(pH=0.6|HH) = P(HH|pH=0.6) = 0.36.

把pH从0~1的取值所得到的似然函数的曲线画出来得到这样一张图：

（来自wikipedia）

可以发现，pH = 1的概率是最大的。

即L(pH = 1|HH) = 1。

那么最大似然概率的问题也就好理解了。

最大似然概率，就是在已知观测的数据的前提下，找到使得似然概率最大的参数值。

这就不难理解，在data mining领域，许多求参数的方法最终都归结为最大化似然概率的问题。

回到这个硬币的例子上来，在观测到HH的情况下，pH = 1是最合理的（却未必符合真实情况，因为数据量太少的缘故）。

先理解这么多。

原贴地址：https://www.cnblogs.com/zhsuiy/p/4822020.html

机器学习--似然函数详解相关推荐

使用pickle保存机器学习模型详解及实战（pickle、joblib）
使用pickle保存机器学习模型详解及实战 pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议. "Pickling"是将Python对象层次结构转换为字节 ...
【机器学习】详解 RNN
相关文章 [机器学习]详解 RNN [机器学习]详解 LSTM [机器学习]详解 GRU 目录一.概述二.语言模型与 N 元语法 (N-Gram) 三.循 ...
2位专家耗时2年打造，西瓜书机器学习公式详解，都在这里了！（文末留言赠书）...
作为机器学习的入门经典教材,周志华老师的<机器学习>,自2016年1月底出版以来,首印5000册一周售罄,并在8个月内重印9次.先后登上了亚马逊,京东,当当网等的计算机类畅销书榜首,身边学 ...
【吃瓜教程】《机器学习公式详解》西瓜书与南瓜书公式推导
[吃瓜教程]<机器学习公式详解>西瓜书与南瓜书公式推导 2021年7月11日第0章-导学深度学习:狭义地来说,就是具有较多层的神经网络. 整个学习过程; 先看西瓜书,在看 Datawh ...
【机器学习】详解 GRU
相关文章 [机器学习]详解 RNN [机器学习]详解 LSTM [机器学习]详解 GRU 目录一.简介二.门控循环神经网络的原理 2.1 GRU 的两个重大 ...
TPOT自动机器学习参数详解
TPOT自动机器学习参数详解分类: 代码 class tpot.TPOTClassifier(generations=100, population_size=100,offspring_size= ...
【详解】机器学习算法详解
目录 1 机器学习算法原理介绍 1.1 K-近邻算法 1 定义 2 算法流程 3 K-近邻实现 4 拓展:fit().tansform().fit_transform()区别 5 K近邻算法优缺点 1 ...
【可解释性机器学习】详解Python的可解释机器学习库：SHAP
详解Python的可解释机器学习库:SHAP SHAP介绍 SHAP的用途 SHAP的工作原理解释器Explainer 局部可解释性Local Interper 单个prediction的解释多个 ...
机器学习——牛顿法详解
我们现在学习的机器学习算法,大部分算法的本质都是建立优化模型,通过特定的最优化算法对目标函数(或损失函数)进行优化,通过训练集和测试集选择出最好的模型,所以,选择合适的最优化算法是非常重要的.常见的最 ...

机器学习--似然函数详解

机器学习--似然函数详解相关推荐

最新文章

热门文章