GHM：Gradient Harmonized Single-stage Detector

本文针对目标检测中分布不均衡问题，提出了一个梯度均衡策略改善模型性能，被AAAI2019收录为oral。

论文下载：https://arxiv.org/abs/1811.05181v1

github代码地址：https://github.com/libuyu/GHM_Detection

单阶段(one-stage)的目标检测模型存在类别不平衡问题，具体可参考我的另一篇博客文章，也是讨论此问题且同样给出了一种loss改进方法，focal loss，地址https://blog.csdn.net/qq_35153620/article/details/90047919

1.研究问题

单阶段的目标检测方法具有高效的结构框架，但其性能与俩阶段的目标检测方法存在差距。其中最重要的问题是简单样本和困难样本，正样本和负样本的不平衡问题导致。这些大量的简单背景样本再训练过程中淹没模型的优化器，从而导致性能的下降。

首先应该明白文章中所指出的简单负样本和困难正样本的定义，RPN的提出致使如今大部分模型都会使用anchors作为检测过程中的重要目标区域定位手段，在网格中每一个点都会产生anchors，产生的全部anchors数量巨大，而目标在图片中的尺寸较小，就会产生一个问题，就是有用的正样本(即含有目标区域的anchors)很少，而无用的负样本(即只有背景信息的anchors)很多。文中认为那些只含有背景信息的样本时简单负样本。如下图所示，

图中红色的anchors代表困难正样本，蓝色代表简单负样本

2.解决方法

文章认为模型的类别失衡问题可以在梯度模的分布上得到很好地体现。简单样本的梯度很小，其对模型的贡献也很小。从全局来看，往往正样本属于困难样本，而负样本属于简单样本，两者的差异可以体现在分布的失衡上。

然而样本对模型的最终影响不仅体现在梯度上，样本的数量起很大的作用，简单负样本往往在数量上站住绝对的优势，从图1中青色线(使用的传统交叉熵损失函数)，在梯度较小的部分(即简单样本)由于数量巨大的原因依旧会产生大的值从而淹没优化器。

图1

文章中提出了俩个分别用于分类和回归的损失函数，并以此构成梯度均衡机制用于克服上述问题。

(1)梯度密度

文章给出了作者定义的梯度密度函数，公式如下

式(1)

式(2)

式中k代表第k个样本，g代表损失的梯度，GD就是Gradient Density(梯度密度)。式(2)中为了找出以为长度，全部位于梯度中心附近位置的样本数量，将有效长度归一化。

之后作者提出梯度密度均衡化参数，如下式

相当于

当样本集中在数值区间内时，这一参数值就会降低。除以N是用来归一化。

(2)GHM-C Loss

文中提出GHM-C Loss用于作为分类的损失函数

文中作者推导了sigmoid函数用来计算交叉熵损失函数的梯度公式，如下

GHM-C Loss函数公式如下，

当某一样本处于梯度密度较大的位置时，认为其是简单样本，减少它的损失。

(2)GHM-R Loss

作者还提出了用于边界框回归的损失函数，GHM-R损失函数。

由于目前较多目标检测模型在边界框回归使用Smooth L1损失函数，其梯度不存在变化，因此本文提出新的用于替代它的损失函数，Authentic Smooth L1(ASL1)损失函数，公式如下，

其梯度如下，

同样对其求梯度密度，然后求其梯度密度均衡化参数，将其作为ASL1损失函数的参数，得到GHM-R Loss，公式如下

3.实验结果

可以看出，在大目标和中等目标GHM有很大优势，小目标上Focal loss有优势。