1.似然与概率

非正式场合，似然（likelihood function/likelihood）与概率（probability）几乎是一对同义词，但统计学中概念不同。

似然：已知结果，预测产生该结果的可能环境参数，如：L(θ∣x)L(\theta|x)L(θ∣x)。
概率：已知环境参数，预测发生某种结果可能性，如：P(x∣θ)P(x|\theta)P(x∣θ)。
其中：
xxx：结果。
θ\thetaθ：环境参数。

当结果与环境参数相互对应时，似然的值=概率的值，即：L(θ∣x)=P(x∣θ)L(\theta|x) = P(x|\theta)L(θ∣x)=P(x∣θ)。

2.似然函数的最大值

似然函数值大含义：在该环境参数θ\thetaθ下产生该结果xxx的可能性大。
最大值求法：似然函数对环境参数θ\thetaθ求导，导数等于0处似然值最大。
最大似然估计（MLE）：似然求导，导数为0时的环境参数θ\thetaθ。
问题：n元变量，多项乘积求导难。

3.对数化似然函数

L=∏i=1NpiL=\prod_{i=1}^N{p_i}L=∏i=1Npi
log⁡(L)=log⁡(∏i=1Npi)=∑i=1Nlog⁡(pi)\log(L)=\log(\prod_{i=1}^N{p_i})=\sum_{i=1}^N\log(p_i)log(L)=log(∏i=1Npi)=∑i=1Nlog(pi)

意义：便于求导。
问题：复杂问题，隐变量难求导。

4.EM算法

意义：求含有隐变量时，似然最大环境变量。
EM算法（Expectation-maximization algorithm，最大期望算法/期望最大化算法）步骤：

计算期望（E）：利用隐变量现有估计值，计算其最大似然估计值；
最大化（M）：最大化E步上求得的最大似然值，计算参数值。
M步上找到的参数估计值用于下一个E步计算中，这个过程不断交替进行。

5.似然比检验

似然比检验（likelihood ratio test, LRT）含义：检验某个假设（或约束）是否有效。
思想：加上有效约束不应引起似然函数的最大值的大幅度降低。
实质：比较有约束条件下的似然函数最大值与无约束条件下的似然函数最大值（比值符合卡方分配）。
基本思想：

已知：来自密度函数f(X；θ)f(X；\theta)f(X；θ)总体的 n个观察值（x1x_1x1，x2x_2x2，…，xnx_nxn）组成随机样本；θ\thetaθ为未知参数。
假设：
H0H_0H0：θ=θ0\theta=\theta_0θ=θ0
H1H_1H1：θ≠θ0\theta\neq\theta_0θ=θ0
α\alphaα：检验水准
λ=似然函数在θ=θ0处的值似然函数在θ=θ(极大点)处的值\lambda=\frac{似然函数在\theta=\theta_0处的值}{似然函数在\theta=\theta(极大点)处的值}λ=似然函数在θ=θ(极大点)处的值似然函数在θ=θ0处的值（服从卡方分布）
统计推断：
当λ≤λ0\lambda\leq\lambda_0λ≤λ0时，拒绝H0H_0H0，
当λ>λ0\lambda>\lambda_0λ>λ0时，不拒绝H0H_0H0。
其中，P(λ≤λ0)=αP(\lambda\leq\lambda_0)=\alphaP(λ≤λ0)=α。

参考：似然比检验 LRT

似然（Likelihood）相关推荐

概率(probability)---似然(likelihood)的前世今生
概率–似然,这两个词在中文中貌似看不出啥关系.但是在英文里:probability和likelihood,在做阅读理解的时候,你可以认为他们是相同的单词,从而进行同义词替换. 但在数学的世界里,以这两 ...
【数据挖掘】贝叶斯公式应用拼写纠正示例分析 ( 先验概率 | 似然概率 | 后验概率 )
文章目录 I . 拼写纠正简介 II . 拼写纠正案例需求 III . 计算每个假设的概率 IV . 引入贝叶斯公式 V . 使用贝叶斯公式计算每个假设的概率 VI . 比较每个假设概率时 P( ...
AI实践之路：线性/逻辑回归背后的广义线性模型与最大似然估计
写上一篇文章的过程中,讲到逻辑回归是如何利用Sigmoid函数将线性回归的数值转换为概率时,才意识到自己对逻辑回归的理解十分浅显,为什么是Sigmoid函数?它一个就说是概率了?数学原理是什么?为了增 ...
有意思的概率——似然值似然函数及最大似然估计讲解
该系列博客旨在对概率论和统计学的相关概念和应用进行一个整体的梳理,既记录自己的学习过程,也可以为大家提供一个参考. 这篇博客主要讲解概率论和统计学中经常涉及到的,不是很好理解的一个概念--似然(Lik ...
【For非数学专业】通俗理解似然函数、概率、极大似然估计和对数似然
文章目录 1. 似然函数与概率 1.1 似然函数与概率的初步认识 1.2 似然的定义 1.3 结合具体实例来深入理解似然与概率 2. 极大似然估计 3. 对数似然函数 4. 总结 1. 似然函数与概率 ...
损失函数-负对数似然和交叉熵(Pytorch中的应用)
文章目录 1.负对数似然损失函数 1.1.似然 1.2.似然函数 1.3.极大似然估计 1.4.对数似然 1.5.负对数似然 1.6.pytorch中的应用 2.交叉熵损失函数 2.1.信息量 2.2 ...
最大熵模型与最大似然估计
前言最近在回顾李航的统计学习方法[1], 看到这一章, 准备好好梳理一下, 更加深入地理解原理以及背后的思想. 作者在这一章介绍了最大熵模型并且推导了对偶函数的极大化等价于最大熵模型的极大似然估计, ...
损失函数——负对数似然
阅读本文可以了解如下内容: 似然似然估计对数似然负对数似然 1. 似然在开始之前需要区分一个知识:似然(likelihood)和概率(probability).概率是一个事件发生的可能性,而似 ...
学点基本功：机器学习常用损失函数小结
(图片付费下载自视觉中国) 作者 | 王桂波转载自知乎用户王桂波 [导读]机器学习中的监督学习本质上是给定一系列训练样本 ,尝试学习的映射关系,使得给定一个 ,即便这个不在训练样本中,也能够得 ...
深度学习常用损失函数总览：基本形式、原理、特点
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:王桂波,来源:极市平台机器学习中的监督学习本质上是给定一系列训练 ...

似然（Likelihood）