论文阅读《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》

Background ＆ Motivation

文中认为在此之前的 Few-shot 目标检测方法中的两类存在着不足：

采用元学习的训练策略，同时 reweight 每一类的表征。

fine-tune 的方法，用 Novel 类数据微调模型的 Head 或者采用辅助分支来 refine 模型的 RPN 和 Head。

首先，support set 和 query set 之间的关系很难完全的表征出来，很多此前的方法采用的 global pooling 的方法会导致局部细节信息的丢失，模型无法学习各类和边界预测的关键特征。其次，Few-shot 目标检测领域的多尺度问题，也一直没有好的办法来应对。文章的 Motivation 就是为了解决上述不足。

Dense Relation Distillation with Context-aware Aggregation（DCNet）

文章提出了两个模块 Dense relation distillation 和 Context-aware Feature Aggregation，分别来应对上述问题。

第一个模块判断 query image 中的物体与 support set 中的物体是否属于同一个类别，可以看作是《Non-local Neural Networks》的扩展，只不过这篇文章里的方法是 self-attention。文章认为当发生遮挡等现象时，对于细节信息的 distillation 就变得尤为重要。经过这个模块，query 和 support 中相同的特征会被 further activated。

第二个模块用来应对多尺度问题，同时关注局部和全局特征可以保留不同尺度物体的上下文信息。采用了三个尺度，并且通过 attention mechanism 来聚合这三个尺度的特征。

模型的输入是一个 support set 及对应的 mask 和一张 query image 及其标注。跟 Matching Net 的设定一样，目标是找到 query image 在 support set 与之对应的类别并定位。具体的架构基于 Meta-Rcnn，包含两个共享权重的特征提取模块，输出 query image 和 support set 对应的特征图。

Dense relation distillation（DRD）

query 和 support 的每一张特征图都各自经过一个3*3的卷积被编码为 key 和 value，这两个部分的卷积不共享权重（key 的通道域变为特征图的1/8，value 的通道域变为特征图的 1/2）。这两个部分的 key 用来度量 query 和 support 特征的相似度，value 则存放了具体的信息。

Specifically, key and value maps are produced from features, which serve as encoding visual semantics for matching and containing detailed appearance information for decoding respectively.

之后将 key 和 value 输入到 DRD 中，度量相似度的具体做法是将 query 和 support 的 key 逐像素的输入经过两个不同的线性变换，这两个线性变换的参数通过梯度下降更新。

再将算出的每个像素的相似度输入到 softmax 中，将各个位置的相似度归一化，得到最后的相似度度量 W。最后的特征图输出为

对于 support set 中输入的 N 张图像，将得出的 y 直接相加，得到最后的 refined query feature。

Context-aware Feature Aggregation（CFA）

之后 refined query feature 被送入 RPN，产生的 proposal 经过 RoIAlign 后输出尺度分别为4*4、8*8和12*12的特征图。大尺度的特征图用来检测小物体，小尺度的特征图用了来检测物体。

The RoI pooling layer uses max pooling to convert the features inside any valid region of interest into a small feature map with a fixed spatial extent of H×W (e.g., 7 × 7), where H and W are layer hyper-parameters that are independent of any particular RoI.

用下图所示的方法来整合多尺度的特征图：

图中 GAP 代表全局平均池化，Linear 代表全连接层。每个尺度中的两个分支经过 softmax 归一化到0和1之间，最后的输出是这三个尺度输出的加权求和。

Experiment

采用元学习的训练方法：

训练和测试都是单尺度的，query image 最短边是800像素，最长边是1333像素且保持这个比例。微调阶段将最后的全连接层随机初始化，并且不冻结网络的任何部分。

We train our model with a mini-batch size as 4 with 2 GPUs.

PASCAL VOC 数据集上的结果：

各个模块的消融实验：

表中第一和第二行说明了 DRD 的效果。

* denotes CFA module with attention aggregation fashion.

Based on the plain CFA module, we further propose an attention-based aggregation mechanism to adaptively fuse different RoI features.

对 RoIAlign 的尺度也进行了消融实验：

对 DRD 和 CFA 的效果进行了可视化：

Moreover, different from former meta-learning based methods which performs prediction in a class-wise manner, our proposed DRD module can model relations between query and support features in all classes at the same time.

CFA 可以用来缓解误分类和漏检。

COCO 数据集上的结果：

Conclusion

key 和 value 的区别仅仅是通道域的大小不同，就发挥了不同的作用。

Transformer 的方法整合到 Faster Rcnn 里似乎有很多种方法。

CFA 缓解了误分类和漏检，这一点特性值得关注。

附加

RoI Align

详解 Mask-RCNN 中的 “RoIAlign” 作用 / 双线性插值的方法_暖仔会飞的博客-CSDN博客

【温故知新】RoI Pooling、RoI Align、ROI Warping pooling、PS-ROI Pooling、PS-ROI Align、PrROI Pooling_linkstack的博客-CSDN博客