对数损失函数与最大似然损失函数

2024-06-05 08:24:36

1，最大似然损失函数（Likelihood loss）

常用在分类问题上。形式上是把每一个预测值的概率相乘，得到一个损失值。
例如：对一组样本的预测为True(1)概率为[0.4, 0.6, 0.9, 0.1]，它们的真实值分别为[0, 1, 1, 0]，则损失值为 0.6 ∗ 0.6 ∗ 0.9 ∗ 0.9 = 0.2916 0.6*0.6*0.9*0.9=0.2916 0.6∗0.6∗0.9∗0.9=0.2916，对于真实值为False(0)的情况，要用（1-p）。

2，对数损失函数（Log loss）

也叫Cross Entropy Loss。与最大似然一样在分类问题中用的较多。形式为
− y ∗ l o g ( p ) − ( 1 − y ) ∗ l o g ( 1 − p ) -y*log(p)-(1-y)*log(1-p) −y∗log(p)−(1−y)∗log(1−p),
对于二分类问题，y取值为0或1，p为预测结果为y的概率，log为自然对数。
此函数对误差大的结果惩罚很大，预测准确度与log loss的关系图如下：

Reference

https://blog.algorithmia.com/introduction-to-loss-functions/
http://neuralnetworksanddeeplearning.com/chap3.html

对数损失函数与最大似然损失函数相关推荐

极大似然估计（Maximum Likelihood Estimattion Theory）是什么？极大似然估计的本质思想是什么？为什么极大似然可以作为损失函数使用？负对数似然损失函数（Negative
极大似然估计(Maximum Likelihood Estimattion Theory)是什么?极大似然估计的本质思想是什么?为什么极大似然可以作为损失函数使用?负对数似然损失函数(Negative ...
逻辑回归损失函数与最大似然估计
机器学习的损失函数是人为设计的,用于评判模型好坏(对未知的预测能力)的一个标准.尺子,就像去评判任何一件事物一样,从不同角度看往往存在不同的评判标准,不同的标准往往各有优劣,并不冲突.唯一需要注意的就 ...
逻辑回归(Logistic Regression)原理及损失函数、极大似然估计
一.什么是逻辑回归虽然名字是"回归",但解决的是"分类"问题. 模型学习的是E[y∣x;θ]E[y|x;\theta]E[y∣x;θ],即给定自变量和超参数后 ...
python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
1.损失函数损失函数,又叫目标函数,是编译一个神经网络模型必须的两个要素之一.另一个必不可少的要素是优化器. 损失函数是指用于计算标签值和预测值之间差异的函数,在机器学习过程中,有多种损失函数可供选 ...
交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
阅读大概需要7分钟跟随小博主,每天进步一丢丢机器学习算法与自然语言处理出品 @公众号原创专栏作者 yyHaker 单位 | 哈工大SCIR实验室损失函数用来评价模型的预测值和真实值不一样的程度, ...
【深度学习】——分类损失函数、回归损失函数、交叉熵损失函数、均方差损失函数、损失函数曲线、
目录代码回归问题的损失函数分类问题的损失函数 1. 0-1损失 (zero-one loss) 2.Logistic loss 3.Hinge loss 4.指数损失(Exponential l ...
如何理解对数似然损失函数
介绍通过最大似然估计值来衡量损失. 最大似然估计的原理是:找到一组估计值,使得未知参数取该组估计值时,观察值以最大概率出现. 设总体 X X X 为离散型随机变量,其分布律为 P ( X = x k ...
LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）
首先,逻辑回归是一个概率模型,不管x取什么值,最后模型的输出也是固定在(0,1)之间,这样就可以代表x取某个值时y是1的概率这里边的参数就是θ,我们估计参数的时候常用的就是极大似然估计,为什么呢?可 ...
多分类svm的hinge loss公式推导_损失函数—深度学习常见损失函数总结【图像分类|下】...
点击蓝字关注我们 AI研习图书馆,发现不一样的精彩世界学习笔记常见损失函数总结-图像分类下篇一.前言在深度学习中,损失函数扮演着至关重要的角色.通过最小化损失函数,使模型达到收敛状态,减少模 ...

最新文章

热门文章