论文：Real-Time Referring Expression Comprehension by Single-Stage Grounding Network

作者

摘要

In this paper , we propose a novel end-to-end model, namely Single-Stage Grounding network (SSG), to localize the referent given a referring expression within an image. Different from previous multi-stage models which rely on object proposals or detected regions, our proposed model aims to comprehend a referring expression through one single stage without resorting to region proposals as well as the subsequent region-wise feature extraction. Specifically, a multimodal interactor is proposed to summarize the local region features regarding the referring expression attentively. Subsequently, a grounder is proposed to localize the referring expression within the given image directly. For further improving the localization accuracy, a guided atten- tion mechanism is proposed to enforce the grounder to focus on the central region of the referent. Moreover, by exploiting and predicting visual attribute information, the grounder can further distinguish the referent objects within an image and thereby improve the model performance. Experiments on RefCOCO, RefCOCO+, and RefCOCOg datasets demonstrate that our proposed SSG without relying on any region proposals can achieve comparable performance with other advanced models. Furthermore, our SSG outperforms the previous models and achieves the state-of-art performance on the ReferItGame dataset. More importantly, our SSG is time efficient and can ground a referring expression in a 416×416image from the RefCOCO dataset in 25ms (40 referents per second) on average with a Nvidia Tesla P40, accomplishing more than 9×speedups over the existing multi-stage models.

在本文中，我们提出了一种新的端到端模型，即Single-Stage Grounding network （SSG），用于在图像中给定引用表达式时对引用对象进行定位。与以往依赖于object proposal或detected region的多阶段模型不同，我们提出的模型旨在通过单个阶段理解引用表达式，而无需借助region proposals以及后续的区域特征提取 region-wise feature extraction. 。具体地说，提出了一种多模态交互器来仔细地总结关于指称表达的局部区域特征。随后，提出了一种将引用表达式直接定位在给定图像中的方法。为了进一步提高定位精度，提出了一种引导注意机制，使地面目标聚焦于周围的中心区域。此外，通过利用和预测视觉属性信息，地面可以进一步区分图像中的参考对象，从而提高模型性能。在RefCOCO、RefCOCO和RefCOCOg数据集上的实验表明，我们提出的SSG不依赖任何区域方案，可以实现与其他高级模型相当的性能。此外，我们的SSG优于以前的模型，并在ReferItGame数据集上实现了最先进的性能。更重要的是，我们的SSG具有时间效率，可以使用Nvidia Tesla P40从RefCOCO数据集中以平均25毫秒（每秒40个 referents）的速度在416×416图像中建立引用表达式，比现有多阶段模型实现9倍以上的加速。

Introduction

Referring expression comprehension[32,33,34,35]，也称为referring expression grounding，是一个基础研究问题，受到计算机视觉和自然语言处理研究界越来越多的关注。给定一个图像以及一个引用表达式，该表达式描述图像中的特定引用对象，引用表达式理解的目的是定位与引用表达式语义对应的引用对象。这是一项具有一般目的但极具挑战性的视觉语言任务，因为它不仅需要参考对象的本地化，还需要对参考对象和关系（如图1中的“左”）进行高级语义理解，以帮助区分同一图像中正确的参考对象和其他不相关的参考对象。
如图1（a）所示，先前的参考表达理解模型可被视为包括三个阶段的多阶段方法[7,14,16,24,32,33,34,35]。首先，传统的对象建议生成方法（如EdgeBox[36]、选择性搜索[28]）或现成的对象检测器（如更快的R-CNN[23]、SSD[12]和掩码R-CNN[4]）用于提取一组区域作为匹配参考表达式的候选区域。其次，卷积神经网络（CNN）[26,27]和递归神经网络（RNN）[2,5]分别用于对图像区域和参考表达式进行编码。最后，设计了一个排序模型，选择匹配得分最高的区域作为参照。这些多阶段模型在指称表达理解任务的相关数据集上取得了显著的成绩[32,34,35]。
然而，这些多阶段模型在计算上非常昂贵，每个阶段都要花费大量时间，特别是区域建议生成和区域特征提取，如表3所示。因此，这些模型不适用于具有实时性要求的实际场景。因此，这一新的挑战激励并激励我们设计一个基础模型，该模型能够有效地定位图像中的参照物。为此，在本文中，我们提出了一种单级接地网络（SSG），以实现实时接地效果以及良好的性能，而无需借助区域方案。更具体地说，如图1（b）所示，我们的SSG模型由三个组件组成，即多模态编码器、多模态交互器和引用表达式引导器。利用多模式编码器（第3.1节）分别对给定图像和引用表达式进行编码。多模态交互者（第3.2节）旨在仔细总结以文本表示为条件的图像局部表示。最后，基于联合表示，引用表达式grounder（第3.3节）负责直接预测与引用表达式对应的边界框的坐标。除了边界盒回归损失外，还引入了另外三个辅助损失，以进一步提高SSG的性能。它们是信心分数损失（第3.3.1节），反映边界框的准确性；注意力重量损失（第3.3.2节），通过使用地面真实边界框的中心点作为目标，强制地面关注有用区域；以及属性预测损失（第3.3.3节）有利于区分同一图像中的参照物。因此，我们提出的SSG在一个单独的阶段中执行，以处理指称表达理解任务，从而导致可比的模型性能以及比现有多阶段模型多9倍的加速。

总之，我们工作的主要贡献如下：

我们提出了一种新的端到端模型，即单级接地网络（SSG），用于处理指称表达式理解任务，该模型直接预测给定图像中与指称表达式对应的边界框的坐标，而不依赖于任何区域建议。
我们提出了一种带有客体中心偏向的引导注意机制，以鼓励我们的SSG关注参照物的中心区域。此外，我们提出的SSG可以通过利用和预测视觉属性信息进一步区分参考对象
我们的SSG可以有效地执行指称表达理解任务。具体而言，我们的GAG与最先进的模型相比，取得了可比的结果，同时在相同的硬件环境下，速度提高了9倍以上。

Related work

2.1. Referring Expression Comprehension

The referring expression comprehension任务是在给定的图像中定位指称对象，该图像在语义上对应于给定的指称表达式。这项任务涉及理解和建模不同的空间环境，如空间结构[14,33]、属性[11,32]和区域之间的关系[16,33]。在以前的工作中，这项任务通常被描述为对给定图像中的一组区域建议的排序问题。区域建议从建议生成方法（如EdgeBoxes[36]）或高级对象检测方法（如SSD[12]、更快的RCNN[23]和Mask R-CNN[4]）中提取。早期模型[14,33]根据视觉和空间特征表示对区域方案进行评分。然而，由于每个区域的评分过程是孤立的，因此这些方法无法考虑对象之间的交互作用。Nagaraja等人[16]通过对区域提案之间的关系进行建模，提高了绩效。YU等人[34]提出了一个联合框架，将指称表达理解和生成任务整合在一起。将来自区域建议的视觉特征和来自引用表达式的语义信息嵌入到公共空间中。Zhang等人[35]开发了一个变分贝叶斯框架，以利用指称和上下文之间的相互作用。尽管这些模型及其变体在参考理解任务[32]上取得了显著的性能改进，但这些多阶段方法在实际应用中的计算成本可能会很高。

2.1 Object detection

我们提出的SSG还受益于最先进的目标探测器，特别是YOLO[20]、YOLO-v2[21]和YOLO-v3[22]。YOLO[20]将输入图像划分为7×7个网格单元，并直接预测多个类别的置信值和边界框的坐标。与YOLO类似，YOLO-v2[21]也将输入图像分割为一组网格单元。然而，它在每个网格单元上放置5个锚箱，并预测锚箱的修正。此外，YLO-v3采用53层卷积层的更深层次网络作为主干，功能更强大。为了定位小对象，YOLOv3[22]还引入了额外的穿透层，以获得更细粒度的特征。

Architecture

给定一个图像和一个引用表达式E={et}t=1TE=\{e_t\}^T_{t=1}E={et}t=1T，其中ete_tet是第t个单词，t表示单词总数，参考表达式理解的目标是定位图像III内的一个子区域IbI_bIb，其对应于参考表达式EEE的语义。
我们提出了一种新的无region proposal模型，即SSG，用于处理 referring expression comprehension task任务。如图2所示，我们提出的SSG是一个onestage模型，由三个组件组成。更具体地说，多模态编码器分别为图像和引用表达式生成视觉和文本表示。然后，多模态交互者执行视觉注意机制，该机制旨在通过聚焦输入图像的有用区域来生成聚集的视觉向量。最后，引用表达式grounder执行定位以预测与引用表达式对应的边界框。

3.1. Multimodal Encoder

SSG中的多模态编码器用于生成输入数据的语义表示，即图像和文本，如图2所示。

3.1.1 Image Encoder

我们采用一种先进的CNN架构——YOLO-v31[22]——在MSCOCO-LOC数据集[10]上预训练，作为图像编码器。具体地说，我们首先将给定的imageIII调整为3×416×416的大小，然后将其送入编码器网络。输出向量s={sn}n=1Ns=\{s_n\}^N_{n=1}s={sn}n=1N，sn∈Rs_n∈\Rsn∈R，来自第58卷积层的用作表示图像不同局部区域的特征表示。根据YLO-v3的网络结构，sns_nsn是一个维度sizeDI=1024D_I=1024DI=1024的向量，local region 的总数N=169。

3.1.2 Text Encoder

给定一个引用表达式E={et}t=1TE=\{e_t\}^T_{t=1}E={et}t=1T，其中ete_tet表示第t个单词。首先，引用表达式中的每个单词都需要通过最新的高级单词嵌入模型进行初始化，如Word2V ec[15]、GloV e[18]和ELMo[19]。在本文中，我们采用在5.5B tokens个数据集上预训练的EMLo模型。生成相应单词嵌入向量w={wt}t=1Tw=\{w_t\}^T_{t=1}w={wt}t=1T，wt∈RDww_t∈ \R^{D_w}wt∈RDw，其中Dimension大小Dw=3072D_w=3072Dw=3072。然后，引用表达式的每个单词嵌入向量wtw_twt依次输入RNN编码器，以生成固定长度的语义向量作为其文本特征。
为了充分捕获单词之间的长期依赖关系，使用长-短期记忆（LSTM）[5]和专门设计的选通机制作为RNN单元对引用表达式进行编码。此外，双向LSTM（Bi LSTM）[25,32]可以捕获引用表达式的过去和未来上下文信息，从而优于传统LSTM和RNN。在本文中，文本编码器是通过将两个Bi LSTM层堆叠在一起实现的，hidden大小为H=512H=512H=512，初始隐藏和单元状态设置为零。因此，参考表达式的语义表示是通过连接两个堆叠层的正向和反向输出来获得的

其中hT(1,fw)h_T^{(1,fw)}hT(1,fw)和hT(2,fw)h_T^{(2,fw)}hT(2,fw)分别表示Bi LSTM的第一层和第二层的正向输出。hT(1,bw)h_T^{(1,bw)}hT(1,bw)和hT(2,bw)h_T^{(2,bw)}hT(2,bw)表示Bi LSTM的第一层和第二层的相应向后输出。vE∈RDEv_E∈\R^{D_E}vE∈RDE尺寸大小为DE=2048D_E=2048DE=2048表示最终获得的文本特征。

3.2. Multimodal Interactor

基于局部视觉特征sss和文本特征vEv_EvE，提出了一种多模态交互器，用于仔细挖掘和总结它们之间的复杂关系。具体来说，我们采用注意机制[29]来聚合视觉局部特征s={sn}n=1N，sn∈RDIs=\{sn\}^N_{n=1}，s_n∈\R^{D_I}s={sn}n=1N，sn∈RDI并生成聚集的视觉特征vI∈RDIv_I∈\R^{D_I}vI∈RDI取决于引用表达式的文本特征vE∈RDEv_E∈\R^{D_E}vE∈RDE：
其中fattf_{att}fatt表示注意机制。α(si，hT)α(s_i，h_T)α(si，hT)确定第i个视觉局部特征sis_isi关于表达式表征vEv_EvE的关注权重，该权重由多层感知器（MLP）实现：
这种注意机制使每个局部视觉特征能够与指称表达相遇并相互作用，从而将视觉局部特征集中在一起并产生聚合的视觉上下文特征。最后，通过连接聚合的视觉语境特征和文本特征结合起来，可以得到图像和参考表达式联合表征vI,E∈RDI,Ev_{I,E}∈\R^{D_{I,E}}vI,E∈RDI,E：
其中Dimension size为DI,E=3072D_{I,E}=3072DI,E=3072。基于vI,Ev_{I,E}vI,E，我们提出的referring expression grounder用于定位引用表达式的图像区域。

Discussion

请注意，我们的多模式互动器不同于GroundR[24]中提出的最大注意模块。首先通过选择性搜索[28]或EdgeBoxes[36]提取GroundR中的局部注意区域，然后通过VGG[26]模型进行编码。此外，在[32]中提出的“框内”注意力模块用于在区域提案中定位相关区域，而不会出现任何辅助引导注意力丢失（第3.3.2节）。

3.3. Referring Expression Grounder

如图2所示，referring expression grounder由三个模块组成，即 localization, guided attention, and attribute prediction。我们首先介绍了用于预测边界框和置信度得分的定位模块，该模块依赖于地面真值参考点的坐标信息进行训练。随后，我们引入了引导注意机制和属性预测模块，通过利用图像中包含的隐藏信息以及引用表达式进一步提高定位精度。

Localization

我们依赖联合表示vI,Ev_{I,E}vI,E来预测图像I内的参考区域，由边界框bpredb_{pred}bpred指示，其语义上对应于参考表达式EEE。如图2所示，联合表示vI,Ev_{I,E}vI,E经历一个卷积层，带有3072个滤波器和跨距1×1。然后，叠加另一个卷积层，该卷积层具有5个滤波器和步长1×1，后跟一个sigmoid函数，以预测坐标信息，该坐标信息由4个值{tx，ty，tw，th}\{t_x，t_y，t_w，t_h\}{tx，ty，tw，th}和预测边界框bpredb_{pred}bpred的置信度得分tct_ctc组成。这里，卷积层包括卷积操作和激活过程，特别是Leaky ReLU[13]。

Coordinates

这四个坐标是介于0和1之间的真实值，与图像的宽度和高度相关。更具体地说，txt_xtx和tyt_yty表示左上角的坐标，而twt_wtw和tht_hth表示边界框的宽度和高度。为了反映大包围盒中的小偏差比小包围盒中的小偏差重要，类似于[20]，我们预测包围盒4宽度和高度的平方根，而不是实际宽度和高度。因此，将计算预测边界框的坐标：

其中pwp_wpw和php_hph分别表示输入图像的宽度和高度。{bx,by}，bw和bh\{b_x,b_y\}，b_w和b_h{bx,by}，bw和bh分别表示预测边界框bpredb_{pred}bpred的左上角坐标、宽度和高度。在训练期间，均方误差（MSE）被用作目标函数：

其中，b^x、b^y、b^w、b^h\hat{b}_x、\hat{b}_y、\hat{b}_w、\hat{b}_hb^x、b^y、b^w、b^h是地面真值边界框 bgtb_{gt}bgt的坐标信息。

Confidence Score

如上所述，除了坐标信息外，定位模块还将生成置信度评分tct_ctc，反映预测框的准确性。在评估过程中，如果预测的边界框与地面真实边界框的并集交点（IoU）大于阈值ηηη，则该边界框被视为正确的理解结果。通常，阈值设置为η=0.5η=0.5η=0.5。因此，我们很自然地将置信度得分预测理解为一个二元分类问题，而不是像YOLO[20]那样的回归问题。因此，目标置信度得分b^c\hat{b}_cb^c定义为：

关于置信度得分的目标函数定义为二元交叉熵：

请注意，关于置信度得分的目标函数与[20,21]中的定义不同，后者被视为一个回归问题，表示为Pr(bgt)∗IoU(bpred,bgt)Pr(b_{gt})∗IoU(b_{pred},b_{gt})Pr(bgt)∗IoU(bpred,bgt)，其中当单元格中存在对象时，Pr(bgt)Pr(b_{gt})Pr(bgt)等于1，否则为0。

3.3.2 Guided Attention

为了进一步提高grounding准确性，我们提出了一种引导注意机制，以鼓励我们的模型更多地关注正确参照物的中心区域。如第2节所述。3.2，一组注意权重α={αn}n=1N，αn∈Rα=\{α_n\}^N_{n=1}，α_n∈\Rα={αn}n=1N，αn∈R不同的视觉局部特征取决于文本特征，每个特征都表示其与引用表达式的相关性。我们注意到存在一条隐藏信息，名为object center bias[1]，我们可以充分利用它。地面真值边界框的中心区域应产生最大注意权重，因为与中心区域相关的视觉特征对于参考表达的基础更为重要。为此，如图3所示，我们首先使用地面真值边界框确定中心点的位置，并将其编码为one-hot向量作为one-hot labely^\hat yy^，这意味着只有参考物中心点所在的区域单元被标记为1，其余所有单元被标记为0。将中心点的坐标重新缩放到注意力权重图的大小后，由下式给出：

如第3.1.1节所述。注意权重图和输入图像的大小分别为13×13和416×416。因此，重缩放因子设置为416/13=32。最后，我们使用交叉熵损失作为目标函数来测量视觉注意权重和获得的one-hot label y^\hat yy^之间的差异：

其中，y^i\hat {y}_iy^i表示标签向量y^\hat yy^的第i个条目。NNN表示注意权重的个数，等于13×13=169。这种辅助损失可以帮助我们的模型学会区分目标区域和其他区域，并鼓励专注的视觉特征嵌入更多重要信息来预测边界框。

3.3.2 Guided Attention

此外，视觉属性通常用于区分相同类别的参考对象，并在许多多模态任务中表现出令人印象深刻的性能，如图像字幕[8,30,31]、视频字幕[17]和参考表达理解[11,32]。受先前工作[32]的启发，我们引入了一个属性预测模块，以进一步提高grounder的性能。
如图2所示，仔细聚合的视觉特征vIv_IvI经历具有1024个滤波器和步长1×1的附加卷积层。随后叠加一个完全连接的层，以预测所有Nattr属性的概率{pi}i=1Nattr\{p_i\}^{N_{attr}}_{i=1}{pi}i=1Nattr，其中NattrN_{attr}Nattr是从训练数据集中提取的最频繁属性词的数目2。在本文中，我们根据经验将Nattr=50N_{attr}=50Nattr=50[33]。因此，属性预测可表述为多标签分类问题，其目标函数定义为：
其中，wiattr=1/freqattrw^{attr}_i=1/\sqrt{freq_{attr}}wiattr=1/freqattr用于平衡不同属性的权重。当引用表达式中存在第i个属性词时，y^i\hat {y}_iy^i设置为1，否则设置为0。在训练过程中，如果引用表达式中不存在属性词，则属性预测的损失值设置为零。

3.4 Training Object

单一训练样本（图像、引用表达式、边界框）SSG模型的目标函数定义为上述定位损失、置信度得分损失、引导注意力损失和属性预测损失的加权和：

Inference

在推理阶段，只有定位模块能够预测与引用表达式相对应的边界框，而引导注意和属性预测模块处于停用状态。对于一个给定的图像和相应的引用表达式，这些模块，即多模式编码器（包括图像和文本编码器）、多模式交互器和定位，彼此完全耦合，并相应地在单个阶段预测边界框BPREDIN。因此，与现有的多阶段模型相比，我们的SSG在引用表达式理解方面的效率更高，这将在第4.5章进一步演示。

Experiment

Conclusion

In this paper, we proposed a novel grounding model, namely Single-Stage Grounding network (SSG), to directly localize the referent within the given image semantically corresponding to a referring expression without resorting to region proposals. To encourage the multimodal interactor to focus on the useful region for grounding, a guided attention loss based on the object center-bias is proposed. Furthermore, by introducing attribute prediction loss, the performance can be improved consistently. Experiments on four public datasets show that our SSG model can achieve favorable performance, especially achieving the state-of-art performance on the ReferItGame dataset. Most importantly, our model is fast by design and able to run at 40 referents per second averagely on the RefCOCO dataset.

在本文中，我们提出了一种新的接地模型，即单级接地网络（SSG），以直接定位给定图像中与引用表达式语义对应的引用对象，而无需求助于区域建议。为了鼓励多模态交互者将注意力集中在有用的接地区域，提出了一种基于目标中心偏差的引导性注意丢失方法。此外，通过引入属性预测损失，可以持续提高性能。在四个公共数据集上的语言对象检索实验表明，我们的SSG模型能够获得良好的性能，尤其是在ReferItGame数据集上达到了最先进的性能。最重要的是，我们的模型设计快速，能够在RefCOCO数据集上以每秒40个引用的速度运行。