【阅读笔记】Gradient Harmonized Single-stage Detector

Li B , Liu Y , Wang X . Gradient Harmonized Single-stage Detector[J]. 2018.
https://github.com/libuyu/GHM_Detection

本文认为影响单阶段检测器的训练的本质问题不是不同类别的样本数的差异，而是不同难度样本的分布不均衡。在训练过程中，每个样本产生一个梯度来更新模型的参数，不同样本对参数更新的贡献不同。在训练过程中，模型已经有很好的判别的简单样本的数量非常大，在模型更新中很有可能占据主导作用，那么这样的参数更新并不会改善模型的判断能力，反而使整个训练变得非常低效。为了解决这个问题，作者设计了梯度均衡机制（Gradient Harmonizing mechanism）。

Gradient Harmonizing Mechanism

我们定义每个样本的对 loss 求得的梯度的模值为ggg，定义 gradient density 为
GD(g)=1lϵ(g)∑k=1Nδϵ(gk,g)GD(g)=\frac{1}{l_{\epsilon}(g)}\sum_{k=1}^{N}\delta_{\epsilon}(g_k,g)GD(g)=lϵ(g)1k=1∑Nδϵ(gk,g)

δϵ(x,y)={1,ify−ϵ2≤x≤y+ϵ20,else\delta_{\epsilon}(x,y)=\left\{\begin{array}{l}1, if~y-\frac{\epsilon}{2} \leq x \leq y+\frac{\epsilon}{2}\\{0, else} \end{array} \right.δϵ(x,y)={1,if y−2ϵ≤x≤y+2ϵ0,else

lϵ(g)=min(g+ϵ2,1)−max(g−ϵ2,0)l_{\epsilon}(g) = min(g+\frac{\epsilon}{2}, 1) − max(g−\frac{\epsilon}{2}, 0)lϵ(g)=min(g+2ϵ,1)−max(g−2ϵ,0)

定义 gradient density harmonizing parameter：
βi=NGD(gi)\beta_i=\frac{N}{GD(g_i)}βi=GD(gi)N

根据归一化系数得到 GHM-C Loss：
LossGHM−C=1N∑i=0Nβi∗lossi=∑i=0NlossiGD(gi)Loss_{GHM-C}=\frac{1}{N}\sum_{i=0}^{N}\beta_i*loss_i\\=\sum_{i=0}^{N}\frac{loss_i}{GD(g_i)}LossGHM−C=N1i=0∑Nβi∗lossi=i=0∑NGD(gi)lossi

我的理解是模型很容易就被训练到容易识别简单样本的情形，利用 GHM-C Loss 将简单样本和 outlier 的梯度贡献减少，提高训练效率，减小 outlier 的影响。

AP 确实有所上升

【阅读笔记】Gradient Harmonized Single-stage Detector相关推荐

目标检测--Accurate Single Stage Detector Using Recurrent Rolling Convolution
Accurate Single Stage Detector Using Recurrent Rolling Convolution CVPR 2017 商汤科技关于目标检测的文献 Code: htt ...
论文阅读：Gradient Harmonized Single-stage Detector
Gradient Harmonizing Mechanism (AAAI 2019) 文章 Focal Loss之后又一篇针对one-stage detector中的imbalance问题发起挑战 ...
论文阅读笔记五十四：Gradient Harmonized Single-stage Detector（CVPR2019）
论文原址:https://arxiv.org/pdf/1811.05181.pdf github:https://github.com/libuyu/GHM_Detection 摘要尽管单阶段的检测 ...
DSSD : Deconvolutional Single Shot Detector论文阅读笔记
文章目录 DSSD : Deconvolutional Single Shot Detector论文阅读笔记2017 Abstract 1. Introduction 2. Related Work ...
《Gradient Harmonized Single-stage Detector》论文阅读以及代码分析
由于香港中文大学多媒体实验室在深度学习时代发表论文的数量以及质量都是值得称赞的,故此对于算法工程师好好学习下https://github.com/open-mmlab/mmdetection是很有必要 ...
论文阅读三：GHM《Gradient Harmonized Single-stage Detector》
论文链接:Gradient Harmonized Single-stage Detector 论文来自香港中文大学一.论文出发点我们都知道,one-stage检测器一个极大的问题就是easy ...
《GRACE: Gradient Harmonized and Cascaded Labeling for Aspect-based Sentiment Analysis》阅读笔记
GRACE 论文题目: <GRACE: Gradient Harmonized and Cascaded Labeling for Aspect-based Sentiment Analysis ...
【3D 目标检测】3DSSD: Point-based 3D Single Stage Object Detector
一核心思路本篇通过观察point-based目标检测方法中,在PointNet++的上采样层(FP层)和refinement Module上面耗费了大量时间,因此作者借此提出了one-stage的 ...
人脸检测--SSH: Single Stage Headless Face Detector
SSH: Single Stage Headless Face Detector ICCV2017 https://github.com/mahyarnajibi/SSH 本文的人脸检测算法走的是又快 ...

【阅读笔记】Gradient Harmonized Single-stage Detector

Gradient Harmonizing Mechanism

【阅读笔记】Gradient Harmonized Single-stage Detector相关推荐

最新文章

热门文章