弱监督目标检测算法论文阅读（四）Localizing Common Objects Using Common Component Activation Map

Abstract

在这项工作中，我们提出了一种从一组图像中的新颖对象类别中定位常见对象的方法。我们使用新的通用组件激活图（CCAM）解决了这个问题，其中我们将特定于类别的激活图（CAM）视为组件，以发现图像集中的通用组件。我们证明了我们的方法可以在实验中推广到新颖的对象类别。

Introduction

在这项工作中，我们同时考虑了弱监督的对象定位和对象共定位co-localization，以针对没见过的对象类别提出一种简单而有效的通用对象定位方法。与以前的工作不同，我们的方法是无提议框的，它不需要任何对象提议框即可执行对象定位，只需要具有与[17]类似的架构的CNN模型，并预训练分类任务。我们将最后一个全连接层的输出视为输入对象的分量向量，而不是概率图的分类输出。对于一组图像，我们首先计算分量矢量的平均值，以找到组公共矢量。然后，我们从组公共向量中选取k个最大条目。最后，对于每张图像，我们计算最后一个卷积层的特征图的加权和，以获得根据前k个成分的公共成分激活图。我们在六个没见过的ImageNet类[8]上测试了我们的方法，这些类未包含在用于训练CNN分类模型的1000个类别中。我们在结果部分展示了我们方法的有效性。

Method

Class Activation Map
对于特定的对象类别，CAM指示CNN用来识别该类别重要性的区分图像区域。给定输入图像I，我们首先将其传递通过分类网络，该网络在最后一个卷积层上使用全局平均池，然后将其用作完全连接层的特征以产生对象分类输出。令F代表最后一个完全卷积层的特征图。 F的大小为H×W×C，其中H×W为空间大小，C为特征通道数。我们将全连接层的权重矩阵表示为W，其中Wsc是与通道c的类别s相对应的权重，并指示通道c对于特定类别s的重要性。然后，将类的类激活映射定义为
对于特定的类s，Ms（x，y）可以直接显示出在空间网格（h，w）处激活的重要性。

Common Component Activation Map
对于具有已知类别的给定图像，CAM可以识别与这些特定类别最相关的图像区域。但是，这种方法无法找到没见过的对象类别的重要区域，这些类别不包含在训练数据集中。为了生成新颖的对象的激活图，我们将全连接的层的输出视为输入图像的矢量分量，而不是分类概率图。对于给定的N组图像，其中I = {I1，…，IN}包含一个新颖的类别对象，令矢量V = {V1，…，VN}是softmax函数的输出。然后我们通过计算输出向量V的平均值来获得这组的公共分量：
给定向量G，我们将K（G）表示为K个最大条目的一组索引。对于每个图像Ii，我们根据最后的K个分量计算最后一个卷积层的特征图的加权和，以获得CCAM。
为了执行定位，我们可以给定图像Ii的CCAM生成一个边界框。使用CCAM，我们可以将常见的新对象的激活图分解为语义可解释的组件，这些组件用已知的对象类别进行了预训练。在图2中，显示了每个组件及其对应的已知对象类别特定CAM的贡献百分比。

Experiments

Generating Boxes
为了从CCAM生成边界框，我们使用与[17]类似的阈值方法来分割热图。特别是，我们对值大于固定阈值的区域进行了细分。与[17]相比，我们只取一个框来覆盖分割图中最大的连接分量，并包括CCAM的最大值。在我们的实验中，我们将阈值设置为CCAM最大值的25％。我们采用前K = 200个组件来计算CCAM。

Evaluation Metric
我们将CorLoc用作评估指标，它定义为一种方法正确定位公共对象的图像百分比。如果共有物体的一个 ground-truth box与predicted box的交并比大于0.5，则我们将此图像算作正确定位的盒子。

Dataset
为了评估针对新颖的对象类别的方法，我们遵循[8]并在ImageNet的六个子集上测试了我们的方法，这些子集未包含在ILSVRC中。这些看不见的物体是花栗鼠，犀牛，鼪，浣熊，耙子和轮椅。