损失函数 -交叉熵损失函数

2024-05-14 18:48:11

参考文献：

1）https://zhuanlan.zhihu.com/p/35709485
2）https://jackon.me/posts/why-use-cross-entropy-error-for-loss-function/

一、相关知识

1）熵：即衡量信息不确定性的大小
2）交叉熵：真实标签与预测标签之间的不同（越不同，包含的信息量越大，即熵越大）
3）损失函数：Loss(y_pred，y_ture)

二、交叉熵损失函数

-交叉熵损失函数：作用在softmax函数输出的概率分布向量之上，评估label和predicts之间的差距（熵越小即两者越接近）
计算公式：

q——表示预测样本分布
p——表示真实样本分布

在具体分类中：

y——表示样本的label，正类为1，负类为0
p——表示样本预测为正的概率

与相对熵（KL散度）的区别：

相对熵是衡量两个概率分布之间的差异
交叉熵是衡量真实与预测之间的概率分布差异，是相对熵的特殊情况，即其中一个分布（p(x)）为已知（也就是熵为0），所以相对熵的后半部分删掉就是交叉熵

三、为什么要用交叉熵损失函数：

利用classification error = count of error items / count of all items来计算，无法更细致地衡量损失。具体例子：
模型一：（其中computed为预测结果，targets为实际结果）

模型二：

两个模型的classification error均为：=1/3=0.33，但显然第二个模型要优于第一个模型
而用交叉熵损失，可以清晰地体现两个模型的优劣：
第一个模型的 ACE ( average cross-entropy error ) 为：−(ln(0.4)+ln(0.4)+ln(0.1))/3=1.38
第二个模型的 ACE 是：−(ln(0.7)+ln(0.7)+ln(0.3))/3=0.64

损失函数 -交叉熵损失函数相关推荐

【转载】损失函数 - 交叉熵损失函数
MSE 转载自:损失函数 - MSE[1] 数理统计中均方误差是指参数估计值与参数值之差平方的期望值,记为MSE.MSE是衡量"平均误差"的一种较方便的方法,MSE可以评价数据的变 ...
损失函数——交叉熵损失函数（CrossEntropy Loss）
损失函数--交叉熵损失函数(CrossEntropy Loss) 交叉熵函数为在处理分类问题中常用的一种损失函数,其具体公式为: 1.交叉熵损失函数由来交叉熵是信息论中的一个重要概念,主要用于度量两 ...
损失函数——交叉熵损失函数
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式.与二次代价函数相比,它能更有效地促进ANN的训练.在介绍交叉熵代价函 ...
损失函数 - 交叉熵损失函数
Cross Entropy Error Function(交叉熵损失函数) 例子表达式函数性质学习过程优缺点这篇文章中,讨论的Cross Entropy损失函数常用于分类问题中,但是为什么它 ...
sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录前言交叉熵损失函数交叉熵损失函数的求导前言最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
人脸识别-Loss-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为c_5，则样本3的损失：loss_3=-log(\hat{y}_5^3)】
一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等. 全连接层:等号左边部分就是全连接层做的事, W W W 是全连接层的参数,我们也称为权值, X X X 是全连接层的输 ...
【交叉熵损失函数】关于交叉熵损失函数的一些理解
目录 0. 前言 1.损失函数(Loss Function) 1.1 损失项 1.2 正则化项 2. 交叉熵损失函数 2.1 softmax 2.2 交叉熵 0. 前言有段时间没写博客了,前段时间主 ...
python交叉熵损失函数实现_Softmax和交叉熵的深度解析和Python实现
原标题:Softmax和交叉熵的深度解析和Python实现作者 | PARAS DAHAL 译者 | zzq [导读]如果你稍微了解一点深度学习的知识或者看过深度学习的在线课程,你就一定知道最基础的 ...
交叉熵损失函数、修正Huber损失、极大似然估计、负对数似然、似然与交叉熵、KL散度
交叉熵损失函数.修正Huber损失.极大似然估计.负对数似然.似然与交叉熵.KL散度目录

最新文章

热门文章