[论文阅读] Active Learning for Deep Object Detection via Probabilistic Modeling

论文地址：https://openaccess.thecvf.com/content/ICCV2021/html/Choi_Active_Learning_for_Deep_Object_Detection_via_Probabilistic_Modeling_ICCV_2021_paper.html
代码：https://github.com/NVlabs/AL-MDN
发表于：ICCV 21

Abstract

主动学习的目的是通过在数据集上只选择信息量最大的样本来降低标注成本。现有的工作很少有涉及目标检测的主动学习。这些方法大多是基于多个模型，或者是分类方法的直接扩展，因此只用分类头来估计图像的信息量。在本文中，我们提出了一种新的用于目标检测的深度主动学习方法。我们的方法依赖于混合密度网络，为每个定位和分类头的输出估计一个概率分布。我们在单个模型的单个前向传递中明确地估计出了偶然(aleatoric)和认知(epistemic)的不确定性。我们的方法使用一个评分函数，将两个头的这两种不确定性汇总起来，以获得每个图像的信息量分数。我们在PASCAL VOC和MS-COCO数据集中证明了我们方法的有效性。我们的方法优于基于单模型的方法，并与基于多模型的方法性能相当，而计算成本却很低。

I. Introduction

本文算是少数的为目标检测模型专门定制的主动学习方法。事实上，现有的宣称能够应用于目标检测的主动学习分类方法基本都没有开源的。而从创新点出发，本文的亮点在于对传统的不确定性概念进行了解耦，分为了两部分：

偶然不确定性：即模型本身对样本的不确定程度。也就是说，如
果模型对当前样本的预测结果的置信度较低，则该样本的偶然不确定性较高。
认知不确定性：即当前样本与训练集已有样本的差异。也就是说，如果该样本的特征与已标注集已有样本特征空间之间的差异较大，则认知不确定性较高。

容易发现，这两种不确定性单独拿出来做的话相当于两种主流的解决思路，与任务无关的方法大多基于偶然不确定性，而依赖任务模型的方法则大多基于认知不确定性。本文的特点是这两种思路同时给用上了。而关于这两种不确定性的求解，则都是通过"概率建模"来实现的。

II. Method

本文算是少数的单独为目标检测设计的主动学习算法。在之前，一般都是设计一个用于分类的算法，然后再将其拓展到目标检测中(即，应用到目标检测模型的classification head上)。那么为什么很少有人做这种原生的方法呢？因为对于localization head而言，本质上给的是一个固定的框(x,y,w,h)，那么就不太好去从这个固定输出中推导不确定性之类的东西。如果要推导，那大概率得用到基于ensemble思想的方法，即训练多个有略微差异的模型，通过比较输出结果之间的差异大小来计算不确定性。但是这一方法的训练成本巨大。相比之下，classification head不存在这一问题，虽然本质上预测也是个定值，但仍可以通过观察softmax层的输出来简单计算不确定性。

那么有没有更简单的方法来估算localization head的不确定性呢？这就涉及到了本文的核心创新点，即标题中的Probabilistic Modeling。这个所谓的概率建模是通过一个插件——混合密度网络(Mixture Density Network, MDN)来实现的。对于一般的网络而言，输入一个x，输出的是确定值y，通过y再推导不确定性是一个间接的过程。而对于MDN，输入一个x，输出的是一个混合高斯分布，而最终的y是从该分布中采样得到的。也就是说，通过观察分布的均值、方差等特征，便可以直接进行不确定性求解。实际上，本文的偶然不确定性与认知不确定性都是从该分布中启发式地推导而来的。