One-Stage Visual Grounding via Semantic-Aware Feature Filter

**本文内容仅代表个人理解，如有错误，欢迎指正**

隐约感觉到最近看的几篇论文都指出之前One-stage visual grounding methods大多利用pre-trained BERT将query编码为一个holistic vector，比较方便简单。但这样做的话，弱化了query中存在的语义信息，即对query的信息挖掘不足。所以，最近的文章都立足于如何能够更好地挖掘并利用query中存在的语义信息，从而辅助模型更准确地进行目标物体的框选。

1. Problem

本篇论文主要解决的问题：之前的一些方法直接将提取出的textual feature和visual feature map简单concatenate(拼接)起来，忽略了textual semantics(query中存在的语义信息)，即没有很好地利用起query中包含的信息，从而降低了模型的表现。(其实说得有点笼统，只能说这个问题是存在的，但是这个解释有点弱)

2. Point

本篇论文的亮点在于：

1. 利用Standford Scene Graph Parser将query转化为Scene graph作为除Visual feature maps和query representations之外的一个额外输入，帮助模型更好地理解query中存在的语义信息(论文作者认为，"different aspects of the query have different effects on visual grounding and should be dealt with separately"，个人理解是，要对query进行分析、分解，并根据query中词的不同有针对性地进行处理)。

2. 提出Entity-Attribute-Location Module(Filters)，充分利用query representation和scene graph信息逐步过滤visual feature map中不相关的部分，从而准确框选出目标物体。

3. Main Components

- 本篇论文的模型主要可以分为三个部分 1. Image and text representation 2. Entity-Attribute-Location filtering module 3. grounding module 具体模型图如Figure 2所示，简单来说就是当我们得到visual feature map之后，我们通过Entity Filter、Attribute Filter以及Location Filter逐步过滤掉该feature map中不相关的部分，得到最终的一个相关性被增强了的feature map输入到grounding module中进行目标物体的预测。接下来我们将依次介绍以上三个部分。

3.1. Image and text representation

- 首先要清楚的是，我们的输入有两部分，1. Input image 2. Input query。

针对Input image，该模型通过Darknet-53+Path Aggregation Network得到visual feature map，并加入一个spatial feature map(因为Darknet53更注重于object的appearance，对位置信息不是非常敏感)与visual feature map进行拼接，得到最终的feature map。

针对Input query，主要做了两个操作。

1. 利用pre-trained BERT提取textual feature。

2. 利用Scene Graph Parser，依据query构建一个scene graph来捕捉query中的语义结构(论文作者在文中提到，虽然有些works表示Pre-trained BERT具有从句子中提取出语义结构的能力，但还是很难在vector representation中体现出来)。

* 针对scene graph，举个例子辅助理解。给定一个句子s，利用scene graph parser将句子s构建为一个scene graph，