具有圆形光滑标记的面向任意对象检测

论文简介
- 标题
- 期刊情况
论文内容
- 前言
- 介绍
- 相关工作
- 提议方法
- - 基于回归的旋转检测方法
  - 回归方法的边界问题。
  - 用于角度分类的圆形平滑标签。
  - 损失函数
- 实验
- - 基准和协议
  - 消融研究
  - 与最先进的相比
- 总结

论文简介

标题

英文：《Arbitrary-Oriented Object Detection with Circular Smooth Label》
翻译：《具有圆形光滑标记的面向任意对象检测

》

期刊情况

期刊：《Conference on Computer Vision and Pattern Recognition》

论文内容

前言

面向任意目标的检测由于其在航空影像、场景文本和人脸等方面的重要性，近年来引起了视觉领域越来越多的关注。本文证明了现有的基于回归的旋转检测器存在边界不连续的问题，这是由角度周期性或角排序直接引起的。通过仔细研究，我们发现根本原因是理想预测超出了定义的范围。我们设计了一种新的旋转检测基线，通过将角度预测从回归问题转换为分类任务来解决边界问题，同时几乎没有精度损失，从而与以前在旋转检测中使用粗粒度的工作相比，设计了高精度的角度分类。我们还提出了一种圆形平滑标记(CSL)技术来处理角度的周期性，并增加相邻角度的误差容限。我们进一步介绍了CSL的四种窗函数，并探讨了不同窗半径大小对检测性能的影响。在两个大规模的航空影像公共数据集上的大量实验和可视化分析表明了该方法的有效性。

介绍

目标检测是计算机视觉的基本任务之一。特别是旋转检测在航拍图像，场景文字和人脸领域发挥了巨大的作用。旋转检测器能够提供精确的方向和尺度信息，这将有助于诸如航空图像中的物体变化检测和多方向场景文本的连续字符识别等应用。
最近，已经提出了一系列从经典检测算法发展而来的高级旋转检测器。在这些方法中，基于区域回归的检测器占据主流，面向多对象的表示是通过旋转包围盒或四边形来实现的。
虽然这些旋转探测器取得了令人鼓舞的结果，但仍然存在一些基本问题。具体来说，我们注意到五参数回归和八参数回归方法都存在边界不连续的问题，这通常是由角度周期性或角排序引起的。然而，固有的原因不限于边界框的特定表示。在本文中，我们认为基于回归方法的边界问题的根本原因是理想的预测超出了定义的范围。因此，模型在边界处的损失值突然增加，使得模型不能以最简单和最直接的方式获得预测结果，并且经常需要额外的更复杂的处理。因此，这些探测器在边界条件上往往有困难。对于使用旋转边界框的检测，角度预测的准确性至关重要。轻微的角度偏差会导致重要的相交-重叠(IoU)下降，从而导致不准确的对象检测，尤其是在大纵横比的情况下。
已经有一些解决边界问题的工作。例如，IoU-smooth L1损失引入了IoU因子，而模旋转损失增加了边界约束，以消除边界损失的突然增加，降低模型学习的难度。然而，这些方法仍然是基于回归的检测方法，仍然没有解决上述的根本原因。
本文旨在寻找一种更基本的旋转检测基线来解决边界问题。具体来说，我们将物体角度的预测视为一个分类问题，以更好地限制预测结果，然后我们设计了一个圆形平滑标签(CSL)来解决角度的周期性，并增加相邻角度之间的误差容限。虽然从连续回归到离散分类的转换，损失的精度对旋转检测任务的影响可以忽略不计。我们还介绍了CSL的四种窗函数，并探讨了不同窗半径大小对检测性能的影响。经过大量的实验和可视化分析，我们发现在不同的检测器和数据集上，基于CSL的旋转检测算法确实是比基于角度回归的方法更好的基线选择。注意后面章节提到的基于回归和基于CSL的方法是根据角度的预测形式来划分的。
总之，本文的主要贡献有四个方面:
- 我们总结了不同基于回归的旋转检测方法中的边界问题，并表明根本原因是理想的预测超出了定义的范围。
- 我们设计了一个新的旋转检测基线，将角度预测从回归问题转化为分类问题。具体来说，据我们所知，我们在旋转检测中设计了第一个基于高精度角度(小于1度)分类的管道，与以前的粗分类粒度(大约10度)方法形成对比。与基于回归的方法相比，我们的方法几乎没有精度损失，并且可以有效地消除边界问题。
- 我们还提出了圆形平滑标签(CSL)技术，作为一个独立的模块，它也可以很容易地在现有的基于回归的方法中重用，通过用分类代替回归，来解决边界条件和具有大纵横比的对象的角度预测。
- 在DOTA和HRSC2016上的大量实验结果显示了我们的检测器的最新性能，并且我们的CSL技术作为独立组件的功效已经在不同的检测器上得到验证。

提议方法

我们给出了我们的方法的概述，如图1所示。该实施例是基于视网膜的单级旋转检测器。该图显示了一个多任务流水线，包括基于回归的预测分支和基于CSLB的预测分支，以便于比较这两种方法的性能。从图中可以看出，基于CSL的方法对于学习物体的方向和尺度信息更加准确。值得注意的是，本文提出的方法适用于大多数基于回归的方法，这已在FPN探测器的实验中得到验证。

基于回归的旋转检测方法

参数回归是目前流行的旋转物体检测方法，主要包括基于五参数回归的方法和基于八参数回归的方法。常用的基于五参数回归的方法通过增加一个额外的角度参数θ来实现任意方向的包围盒检测。图2(a)显示了一个90°角范围的矩形定义(x，y，w，h，θ)，θ表示与x轴的锐角，对于另一侧，我们称之为w。它应该与图2(b)所示的另一个定义(x，y，h，w，θ)不同，图2(b)中的角范围为180°，θ由矩形的长边(h)和x轴决定。基于八参数回归的检测器直接对物体的四个角(x1，y1，x2，y2，x3，y3，x4，y4)进行回归，因此预测为四边形。四边形回归的关键步骤是提前对四个角点进行排序，这样即使预测是正确的，也可以避免非常大的损失，如图2©所示

回归方法的边界问题。

虽然基于参数回归的旋转检测方法在不同的视觉任务中取得了竞争性能，并且已经成为许多优秀检测方法的基础，但是这些方法本质上存在不连续边界问题。边界不连续问题通常是由五参数方法中的角度周期性和八参数方法中的角点排序引起的，但是无论包围盒的表示选择如何，都存在更根本的根本原因。
边界不连续问题往往会使模型在边界处的损失值突然增大。因此，各种方法不得不求助于特殊且往往复杂的技巧来缓解这个问题。因此，这些检测方法在边界条件上往往不准确。我们根据边界问题的不同表示形式，用三种典型的基于回归的方法来描述边界问题(前两种是指五参数方法):
- 90°-基于回归的方法，如图3(a)所示。它显示了一种理想的回归形式(蓝色方框逆时针旋转到红色方框)，但由于角度的周期性(PoA)和边的可交换性(EoE)，这种情况的损失非常大，详见图3(a)和等式3、4、5中的示例。所以模型还要以其他复杂的形式回归(比如蓝框顺时针旋转到灰框，同时缩放w和h)，增加了回归的难度。
- 180° -基于回归的方法，如图3(b)所示。同样，这种方法也有一个问题，即边界上的活动方案造成的损失急剧增加。模型最终会选择顺时针旋转一个大的角度来获得最终的预测边界框。
- 基于点的方法，如图3©所示。通过进一步分析，由于角点的提前排序，八参数回归方法中仍然存在边界不连续问题。考虑一个八参数回归在边界情况下的情况，理想的回归过程应该是{(a → b)、(b → c)、(c → d)、(d → a)}，但实际从蓝色参考框到绿色地面真值框的回归过程是{(a → a)、(b → b)、(c → c)、(d → d)}。其实这种情况也属于PoA。相比之下，蓝色到红色边界框的实际和理想回归是一致的。
  
  在上述分析的基础上，提出了一些解决这些问题的方法。例如，IoU-smooth L1 损失引入了IoU因子，而模旋转损失增加了边界约束，以消除边界损失的突然增加，降低模型学习的难度。但是这些方法仍然是基于回归的检测方法，没有从根本原因给出解决方案。在本文中，我们将从一个新的角度出发，用分类代替回归，以实现更好、更鲁棒的旋转检测器。我们复制了一些基于回归的经典旋转检测器，并在边界条件下对它们进行可视化比较，如图4(a)至图4(e)所示。相反，基于CLS的方法没有边界问题，如图4(i)所示。

用于角度分类的圆形平滑标签。

基于回归方法的边界问题的主要原因是理想预测超出了定义的范围。因此，我们将物体角度的预测视为一个分类问题，以更好地限制预测结果。一个简单直接的解决方案是使用对象角度作为其类别标签，类别的数量与角度范围相关。图5(a)显示了标准分类问题的标签设置(单热标签编码)。从回归到分类的转换会造成一定的精度损失。以180角度范围的五参数法为例，每间隔ω(默认ω= 1 °)度是指一个范畴。我们可以计算出最大精度损失M ax(损失)和预期精度损失E(损失):

基于上述方程，可以看出旋转检测器的损耗很小。例如，当纵横比为1 : 9的两个矩形相差0.25°和0.5 °(默认的预期和最大精度损失)时，它们之间的交集(IoU)仅减少0.02和0.05。但是，onehot标签在旋转检测方面有两个缺点:
* 当边界框使用基于90°-回归的方法时，EoE问题仍然存在。此外，基于90°-回归的方法有两种不同的边界情况(垂直和水平)，而基于180°-回归的方法只有垂直边界情况。
* 注意普通分类损失与预测标签和地面真实标签之间的角度距离无关，因此不适合角度预测问题的性质。如图5(a)所示，当地面真值为0 °,分类器的预测结果分别为1°和90 °,它们的预测损失是相同的，但是从检测的角度来看，应该允许接近地面真值的预测结果。

因此，我们设计了一种圆形平滑标记(CSL)技术，通过分类获得更鲁棒的角度预测，而不受边界条件的影响，包括EoE和PoA。从图5(b)中可以清楚地看到，CSL涉及一个具有周期性的圆形标签编码，并且分配的标签值是平滑的，具有一定的容差。CSL的表情如下:

其中g(x)是窗函数。r是窗函数的半径。θ表示当前边界框的角度。需要一个理想的窗函数g(x)来保持以下特性:

我们给出了满足上述三个性质的四个有效窗函数:脉冲函数、矩形函数、三角形函数和高斯函数,如图5(b)所示。请注意，标签值在边界处是连续的，并且不会由于CSL的周期性而导致任意的精度损失。另外，当窗函数是脉冲函数或者窗函数的半径很小时，单热标签相当于CSL。

损失函数

我们的多任务流水线包含基于回归的预测分支和基于CSLB的预测分支，以促进两种方法在同等基础上的性能比较。边界框的回归是:

其中x、y、w、h、θ分别表示盒子的中心坐标、宽度、高度和角度。变量x、xa、x0分别用于地面真值框、锚框和预测框(同样用于y、w、h、θ)。使用多任务损失，定义如下:

其中，N表示锚的数量，objn是二进制值(objn= 1表示前景，objn= 0表示背景，没有回归表示背景)。v 0j表示预测偏移向量，vj表示地面真实的目标向量。θn，θ 0分别记下角度的标记和预测。TN表示对象的标签，pnis是由Sigmoid函数计算的各种类的概率分布。超参数λ1、λ2、λ3控制取舍，默认设置为{1，0.5，1}。分类损失Lcls和Lcls焦点损失或sigmoid交叉熵损失取决于探测器。回归损失是中使用的线性平滑L1损失。

实验

我们使用张量流在带有GeForce RTX 2080 Ti和11G内存的服务器上实现了所提出的方法。本文的实验默认为ResNet50 初始化的除非另有说明。我们在空中基准和场景文本基准上进行了实验，以验证我们技术的通用性。重量衰减和动量分别设置为0.0001和0.9。我们使用4个以上的图形处理器，每个迷你批次共有4个图像(每个图形处理器1个图像)。在每个金字塔级别，我们使用七种纵横比的锚点{1，1/2，2，1/4，4，1/6，6}，其余的锚点设置与原始的视网膜和FPN相同。

基准和协议

DOTA 是最大的航空影像检测基准之一。DOTA有两个检测任务:水平包围盒(HBB)和定向包围盒(OBB)。DOTA包含来自不同传感器和平台的2806幅航空图像，图像大小在800 × 800至4000×4000像素之间。完全注释的DOTA基准包含15个公共对象类别和188，282个实例，每个实例都由任意四边形标记。类别的简称定义为(缩写-全名):飞机(PL)、棒球场(BD)、桥梁(BR)、地面田径场(GTF)、小型车辆(SV)、大型车辆(LV)、船舶(SH)、网球场(TC)、篮球场(BC)、储罐(ST)、足球场(SBF)、环形交叉路口(RA)、海港(HA)、游泳池(SP)和直升机(HC)。随机选取一半的原始图像作为训练集，1/6作为验证集，1/3作为测试集。我们将训练和验证图像分成600×600个重叠150像素的子图像，并将其缩放到800×800。通过所有这些过程，我们获得了大约27，000个补丁。
ICDAR2015是ICDAR2015健壮阅读比赛的挑战赛4，常用于面向场景的文本检测和定位。该数据集包括1，000个训练图像和500个测试图像。在培训中，我们首先使用来自ICDAR 2017 MLT培训和验证数据集的9000幅图像来培训我们的模型，然后使用1000幅培训图像来微调我们的模型。
ICDAR 2017 MLT 是一个多语言文本数据集，包括7200个训练图像、1800个验证图像和9000个测试图像。该数据集由9种语言的完整场景图像组成，并且该数据集中的文本区域可以是任意方向，更加多样和具有挑战性。
HRSC2016 包含来自两种场景的图像，包括海上船只和近岸船只。所有的图像都是从六个著名的港口收集的。训练、验证和测试集分别包括436、181和444幅图像。
所有数据集总共由20个时期训练(每个时期的图像迭代次数为e)，并且学习率分别在12个时期和16个时期降低了10倍。视网膜和FPN的初始学习率分别为5e-4和1e-3。DOTA、ICDAR2015、MLT和HRSC2016的e值分别为27k、10k、10k和5k，如果使用数据增强和多尺度训练，则e值加倍。

消融研究

四种窗函数的比较。表1显示了四个窗口函数在DOTA数据集上的性能比较。它还详细说明了数据集中具有较大纵横比和更多边界情况的五个类别的准确性。我们认为，这些类别可以更好地反映我们方法的优势。一般来说，高斯窗函数表现最好，而脉冲函数表现最差，因为它没有学习到任何方向和比例信息。图4(f)-4(i)显示了四个窗口函数的可视化。根据图4(i)-4(j)，基于180°- CSL的方法显然具有更好的边界预测，因为基于90°CSL的方法中仍然存在EoE问题。图4中的可视化结果与表1中的数据分析结果一致。
合适的窗口半径：高斯窗形式表现出最好的性能，而这里我们研究窗函数半径的影响。当半径过小时，窗函数趋于脉冲函数。相反，当半径太大时，所有可预测结果的区分度变小。因此，我们选择一个合适的半径范围从0到8，表2显示了两个探测器在这个范围内的性能。虽然两种检测器在半径为6的情况下性能最佳，但单级检测方法对半径更敏感。我们推测，两级检测器中的实例级特征提取能力(如RoI汇集和RoI对齐)比单级检测器中的图像级能力更强。因此，两阶段检测方法可以区分两个接近角度之间的差异。图6比较了不同窗口的可视化效果。当半径为0时，探测器无法获知任何方位和尺度信息，这与上述脉冲函数的性能是一致的。随着半径变得更大和最佳，探测器可以学习任何方向的角度。
分类比回归好：表3中的三个旋转检测器，包括视网膜-H、视网膜-R和FPN-H，用于比较基于CSL和基于回归的方法之间的性能差异。前两种是单级探测器，锚格式不同。后者是经典的两阶段检测方法。可以清楚地看到，CSL对于长宽比大、边界条件多的物体有较好的检测能力。还应该注意的是，CSL旨在解决边界问题，其在整个数据集的比例相对较小，因此整体性能(mAP)不如所列的五个类别(5-mAP)明显。总的来说，基于CSL的旋转检测算法确实是比基于角度回归的方法更好的基线选择。
其他数据集上的CSL性能。为了进一步验证基于CSLB的方法是一种更好的基线模型，我们还在其他数据集上进行了验证，包括ICDAR2015的文本数据集和另一个遥感数据集HRSC2016。这三个数据集是单类对象检测数据集，其对象具有较大的纵横比。尽管边界条件仍占这些数据集的一小部分，但CSL仍显示出较强的性能优势。如表4所示，基于CSL的方法与相同实验配置下基于回归的方法。这些实验结果为证明基于CSL的方法的多功能性提供了强有力的支持。
角度特征的视觉分析: 通过放大图4(i)的一部分，我们发现边界条件的预测变得连续(例如，两个相同方向的大型车辆分别预测为90°和-88°)。这种现象反映了设计CSL的目的:标签是周期性的(圆形)，相邻角度的预测有一定的公差。为了确认角度分类器确实已经了解了这一特性，我们通过主成分分析(PCA) 直观地分析了FPN检测器中每个感兴趣区域(RoI)的角度特征，如图7所示。当我们使用脉冲窗口函数时，探测器没有很好地学习方位信息。从图7第一行可以看出，RoI的特征分布是比较随机的，某些角度的预测结果占绝大多数。对于高斯函数来说，特征分布是明显的一个环形结构，并且相邻角的特征相互接近，有一定的重叠。就是这个属性这有助于基于CSL的检测器消除边界问题，并准确获得物体的方向和比例信息。

与最先进的相比

关于DOTA的结果: 虽然CSL只是对原始的基于回归的旋转检测方法的理论改进，但它仍然可以通过广泛使用的数据扩充和多尺度训练和测试来显示出竞争性能。由于遥感图像场景的复杂性和大量小的、杂乱的和旋转的物体，我们选择DOTA作为主要的验证数据集。我们的数据增加方法主要包括随机水平、垂直翻转、随机灰度和随机旋转。培训和测试规模设置为[400，600，720，800，1000，1100]。如表5所示，基于FPN-CSL的方法表现出竞争优势，为76.17%。
HRSC2016上的结果: HRSC2016包含大量任意方位的大展弦比舰船实例，对探测器的定位精度提出了巨大挑战。实验结果表明，我们的模型达到了最先进的性能，约89.62%。

总结

本文总结了不同基于回归的旋转检测方法的边界问题。边界问题的主要原因基于回归方法是理想的预测超出了规定的范围。因此，将物体角度的预测视为一个分类问题，以更好地限制预测结果，然后我们设计了一个圆形平滑标签(CSL)，以适应角度的周期性，并在几乎没有精度损失的情况下增加相邻角度之间的分类容差。我们还介绍了CSL的四种窗函数，并探讨了不同窗半径大小对检测性能的影响。重要的是，角度高精度分类也是旋转检测中的第一个应用。对不同检测器和数据集的大量实验和可视化分析表明，基于CSL的旋转检测算法确实是一种有效的基线选择。

论文阅读笔记——具有圆形光滑标记的面向任意对象检测相关推荐

基于移动最小二乘法的曲线曲面拟合论文阅读笔记
基于移动最小二乘法的曲线曲面拟合论文阅读笔记论文地址:http://www.cnki.com.cn/Article/CJFDTotal-GCTX200401016.htm 一.Problem Sta ...
基于深度学习的表面缺陷检测方法综述-论文阅读笔记
//2022.3.2日阅读笔记原文链接:基于深度学习的表面缺陷检测方法综述 (aas.net.cn) 个人对本篇综述内容的大致概括论文首先介绍了表面缺陷检测中不同场景下的成像方案,主要根据表面颜色 ...
论文阅读笔记(五)——狐猴识别系统:一种便于狐猴个体识别的面部识别系统
论文阅读笔记(五)--狐猴识别系统:一种便于狐猴个体识别的面部识别系统论文简介论文中文翻译:狐猴识别系统:一种便于狐猴个体识别的面部识别系统论文名称:<LemurFaceID: a fac ...
论文阅读笔记——VulDeePecker: A Deep Learning-Based System for Vulnerability Detection
本论文相关内容论文下载地址--Engineering Village 论文中文翻译--VulDeePecker: A Deep Learning-Based System for Vulnerabi ...
对抗训练-smart 论文阅读笔记
对抗训练-smart 论文阅读笔记 SMART: Robust and Efficient Fine-Tuning for Pre-trained NaturalLanguage Models thr ...
论文阅读笔记：《一种改进的图卷积网络半监督节点分类》
论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 文章目录论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 摘要: 引言非欧几里得数据 1 深度池化对偶图神经网络 ...
On Inferring Autonomous System Relationships in the Internet 论文阅读笔记
On Inferring Autonomous System Relationships in the Internet 论文阅读笔记 #拓扑推断 AS 拓扑推断相关的研究(较早)可参考:AS Rel ...
论文阅读笔记——Vulnerability Dataset Construction Methods Applied To Vulnerability Detection A Survey
本论文相关内容论文下载地址--Web Of Science 论文中文翻译--Vulnerability Dataset Construction Methods Applied To Vulnera ...
论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要简介和相关工作方法表征学习语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记
The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记特点:高可靠.高可用.粗粒度锁服务.小文件存储主要用于高 ...

论文阅读笔记——具有圆形光滑标记的面向任意对象检测