边框回归的损失函数_分类损失函数，边框回归损失函数

（1）交叉熵损失函数

蔡杰：简单的交叉熵，你真的懂了吗？zhuanlan.zhihu.com

1.1信息量

一条信息的信息量大小和他的不确定性有很大的关系，需要很多外部信息才能确定的信息，我们称之为这计划的信息量很大。

我们将事件x0的信息量定义如下，（其中p(x0）表示事件x0发生的概率：则信息量定义为：

由图像可以看出，事件发生的概率越大，包含的信息量越少

1.2熵的概念

信息量是针对单个事件来说的，但是一件事有多种发生的可能，掷色子可能就有六种情况发生。因此熵表示的的是随机变量不确定的度量，是对所有可能事件产生的信息量的期望。

表示所有事件可能发生的情况

二分类的时候，只有两种情况：

1.3相对熵

相对熵又被称为KL散度,用于衡量同一随机变量x的p(x)和q(x)两个分布差异,其中p(x) 描述样本的真实分布，q(x)描述的是预测的分布，在网络的学习的过程中q(x)需要不断的去学习来拟合准确的p(x)的分布。

其中KL的值越小表示两个分布越接近

1.4交叉熵

第一部分是一个常数部分

可以推导交叉熵损失函数

1.5使用交叉熵而不用平方差

当使用sigmoid做为激活函数的时候，平方差损失函数有时不能满足误差越大，权值调整越快，，但是交叉熵损失函数却可以很好的满足这一点

（2）smooth_L1损失函数

作者：尹相楠
链接：https://www.zhihu.com/question/58200555/answer/621174180
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
为了从两个方面限制梯度：

当预测框与 ground truth 差别过大时，梯度值不至于过大；
当预测框与 ground truth 差别很小时，梯度值足够小。

考察如下几种损失函数，其中

为预测框与 groud truth 之间 elementwise 的差异：

损失函数对

的导数分别为：

观察 (4)，当

增大时

损失对

的导数也增大。这就导致训练初期，预测值与 groud truth 差异过于大时，损失函数对预测值的梯度十分大，训练不稳定。

根据方程 (5)，

对

的导数为常数。这就导致训练后期，预测值与 ground truth 差异很小时，

损失对预测值的导数的绝对值仍然为 1，而 learning rate 如果不变，损失函数将在稳定值附近波动，难以继续收敛以达到更高精度。

最后观察 (6)，

在

较小时，对

的梯度也会变小，而在

很大时，对

的梯度的绝对值达到上限 1，也不会太大以至于破坏网络参数。

完美地避开了

和

损失的缺陷。其函数图像如下：

由图中可以看出，它在远离坐标原点处，图像和

loss 很接近，而在坐标原点附近，转折十分平滑，不像

loss 有个尖角，因此叫做 smooth

loss。

边框回归的损失函数_分类损失函数，边框回归损失函数相关推荐

k均值的损失函数_机器学习:手撕 cross-entropy 损失函数
1.前言 cross-entropy loss function 是在机器学习中比较常见的一种损失函数.在不同的深度学习框架中,均有相关的实现.但实现的细节有很多区别.本文尝试理解下 cross-en ...
r语言logistic回归_R语言多分类logistic逻辑回归模型在混合分布模拟单个风险损失值评估的应用...
原文链接 :http://tecdat.cn/?p=14017tecdat.cn 通常,我们在回归模型中一直说的一句话是" 请查看一下数据 ". 在上一篇文章中,我们没有查看数据 ...
r 多元有序logistic回归_R语言多分类logistic逻辑回归模型在混合分布模拟单个风险损失值评估的应用...
原文链接拓端数据科技 / Welcome to tecdattecdat.cn 通常,我们在回归模型中一直说的一句话是" 请查看一下数据 ". 在上一篇文章中,我们没有查看数据 ...
logit回归模型假设_机器学习基础---逻辑回归（假设函数与线性回归不同）
一:分类 (一)分类基础在分类问题中,你要预测的变量y是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法. 在分类问题 ...
python 最小二乘回归高斯核_最经典的回归模型参数估计算法—最小二乘
首先,我们要明白最小二乘估计是个什么东西?说的直白一点,当我们确定了一组数的模型之后,然后想通过最小二乘的办法来确定模型的参数.举个两变量(一个自变量.一个因变量)线性回归的例子来说明一下,如下面所示 ...
边框回归的损失函数_一文搞懂常用的七种损失函数
主要内容: 0-1, Hinge, Logistic, Cross Entropy, Square, Absolute, Huber 简述: 损失函数刻画了模型与训练样本的匹配程度. 分类损失分类L ...
【动手学深度学习】Softmax 回归 + 损失函数 + 图片分类数据集
学习资料: 09 Softmax 回归 + 损失函数 + 图片分类数据集[动手学深度学习v2]_哔哩哔哩_bilibili torchvision.transforms.ToTensor详解 | 使用 ...
sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录前言交叉熵损失函数交叉熵损失函数的求导前言最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
逻辑回归（LR实则分类）的损失函数
原文链接:https://blog.csdn.net/CTTACM/article/details/91472794 逻辑回归是在线性函数的基础上,经过激活函数后产生的0~1之间的概率值. 设x为特征 ...

边框回归的损失函数_分类损失函数，边框回归损失函数

边框回归的损失函数_分类损失函数，边框回归损失函数相关推荐

最新文章

热门文章