1 引言

目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。

Bounding Box Regression Loss Function的演进路线是：
Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss

本文介绍L1 loss、L2 loss以及Smooth L1 Loss。

2 L1 Loss

公式：

当假设 x 为预测框和真实框之间的数值差异时，公式变为：

L1=∣x∣L_1 = |x|L1=∣x∣

导数：
特点：
L1 loss在零点处不平滑，学习慢；
L1L_1L1 损失函数对 x 的导数为常数，训练后期，x 很小时，如果学习率不变，损失函数会在稳定值附近波动，很难收敛到更高的精度。(这句话可能得想一下才能懂)

3 L2 Loss

公式：

当假设 x 为预测框和真实框之间的数值差异时，公式变为：

L1=x2L_1 = x^2L1=x2

导数：
特点
L2 loss由于是平方增长，因此学习快。
L2L_2L2 损失函数对 x 的导数为2x，当 x 很大的时候，导数也很大，使 L2L_2L2 损失在总loss 中占据主导位置，进而导致，训练初期不稳定。

4 Smooth L1 Loss

由微软rgb大神在 Fast RCNN论文提出该方法。

公式：假设 x 为预测框和真实框之间的数值差异
导数：
特点：
Smooth L1 Loss 相比L1 loss 改进了零点不平滑问题。
相比于L2 loss，在 x 较大的时候不像 L2 对异常值敏感，是一个缓慢变化的loss。

5 曲线对比分析

实际目标检测框回归位置任务中的损失loss为：

三种loss的曲线如下图所示，可以看到Smooth L1相比L1的曲线更加的Smooth。

存在的问题：

三种Loss用于计算目标检测的Bounding Box Loss时，独立的求出4个点的Loss，然后进行相加得到最终的Bounding Box Loss，这种做法的假设是4个点是相互独立的，实际是有一定相关性的
实际评价框检测的指标是使用IoU，而IoU和Smooth L1是不等价的，多个检测框可能有相同大小的Smooth L1 Loss，但IoU可能差异很大，为了解决这个问题就引入了IoU Loss。

再后面学习参考链接：

https://zhuanlan.zhihu.com/p/104236411

6 参考链接

https://zhuanlan.zhihu.com/p/104236411
https://blog.csdn.net/qq_33278461/article/details/100752896

【Smooth L1 Loss】Smooth L1损失函数理解相关推荐

【AI面试】L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化
损失函数是深度学习模型优化的一个灵魂基础,所以无论是很新的transform模型,还是比较早期的AlexNet,都不可避免的要涉及到损失函数的设计和应用. 所以,各种形形色色的损失函数(Loss)也就 ...
【IoU loss】IoU损失函数理解
文章目录 1 引言 2 问题分析 3 IoU Loss 4 代码演示IoU 5 感谢链接 1 引言目标检测任务的损失函数由Classificition Loss和Bounding Box Reger ...
【AI面试】hard label与soft label，Label Smoothing Loss 和 Smooth L1 Loss
往期文章: AI/CV面试,直达目录汇总 [AI面试]NMS 与 Soft NMS 的辨析 [AI面试]L1 loss.L2 loss和Smooth L1 Loss,L1正则化和L2正则化在一次询问 ...
从L1 loss到EIoU loss，目标检测边框回归的损失函数一览
本文转载自知乎,已获作者授权转载. 链接:https://zhuanlan.zhihu.com/p/342991797 目标检测任务的损失函数由Classificition Loss和BBox Reg ...
在caffe中添加新层 L1 Loss layer
本文地址:http://blog.csdn.net/ismarvellous/article/details/79069661,转载请注明出处. 本文涉及的所有完整文件可在我的github下载. 1. ...
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
1. L1 Loss(Mean Absolute Error,MAE) 平均绝对误差(MAE)是一种用于回归模型的损失函数.MAE 是目标变量和预测变量之间绝对差值之和,因此它衡量的是一组预测值中的平 ...
smooth L1 loss个人理解
最近在整理目标检测损失函数,特将Fast R-CNN损失函数记录如下: smooth L1 损失函数图像如下所示: L1损失的缺点就是有折点,不光滑,导致不稳定. L2 loss的导数(梯度)中包含预 ...
L1、L2正则化以及smooth L1 loss
一.L1.L2正则化当样本特征很多,而样本数相对较少时,学习过程很容易陷入过拟合.为了缓解过拟合问题,可以对损失函数加入正则化项.正则化项中的Lp范数有很多,常见的有L1范数和L2范数. 给定 ...
深度学习: smooth L1 loss 计算
RPN的目标函数是分类和回归损失的和,分类采用交叉熵,回归采用稳定的 Smooth L1, SmoothL1公式为: 整体损失函数具体为: Smooth L1 相比于L1损失函数,可以收敛得更快 ...

【Smooth L1 Loss】Smooth L1损失函数理解

文章目录