简介

论文链接

动机

由于cv中的方法通常会过拟合数据集，所以很多学者尝试让这些方法对“域变化”鲁棒。但是，这些domain adaptation方法并不适用于VQA任务，主要由于三个原因：

VQA任务的输入是多模态的；
VQA方法由不同的模块构成了多个步骤，导致优化复杂；
不同的VQA数据集的answer space是不同的。

为了应对上述问题，作者主要做了以下三个方面的工作：

量化不同VQA数据集之间的domain shift，并在image和question domain分别合成了新的数据。
测试了不同类型的VQA方法的鲁棒性。
测试了现有的domain adaptation方法，并提出了一个新的更适用于VQA任务的方法。

方法

个人认为，本文主要的贡献在于，作者通过分析不同方法的鲁棒性，得出“NMNs方法较为鲁棒”的结论，进一步做了“推理是和domain无关”的假设。根据这个假设，作者设计了适用于VQA领域的domain adaptation方法，也就是下图中的Two-stage DA。核心思想就是，把Visual Encoder预训练好，再去训练VQA模型（此时保持Visual Encoder不更新）。也就是说：Training Stage 1学习表达，Training Stage 2学习推理，由于“推理和domain无关”，所以得到的模型更加鲁棒。

实验

下图是作者测试了不同VQA数据集之间的domain gap：

下表是不同类方法的domain adaptation性能测试（分别是image shift和question shift情况下）：

接下来，作者测试了本文提出的训练策略和已有的domain adaptation方法的对比：

CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记相关推荐

AAAI 2021 《Regularizing Attention Networks for Anomaly Detection in Visual Question Answering》论文笔记
目录简介动机方法实验简介本文是POSTECH和Kakao合作的一篇文章. 论文链接动机异常检测有助于提升模型的稳定性和可靠性,也就是鲁棒性,OOD问题也可以视为一种异常.但是,单模态的 ...
CVPR 2020 《Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences》论文笔记
目录简介动机贡献方法实验简介本文也是一篇poster,作者出自浙大.阿里巴巴和电科大. 本文提出了一个新的task--STVG(Spatio-Temporal Video Groundi ...
CVPR 2017 ADNet:《 Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning》论文笔记
理解出错之处望不吝指正. 本文模型叫做ADNet.该模型通过强化学习产生动作序列(对bbox进行移动or尺度变换)来进行tracking.原理如下图(第一列代表初始帧,第二列和第三列代表通过RL产生的 ...
CVPR 2018 Siam-RPN:《High Performance Visual Tracking with Siamese Region Proposal Network》论文笔记
理解出错之处望不吝指正. 本文模型叫做Siam-RPN.本文将Siamese Network和RPN结合,提出了一种端到端的离线训练方法,并把tracking过程视为one-shot detectio ...
【CVPR 2021】剪枝篇（一）：Network Pruning via Performance Maximization
[CVPR 2021]剪枝篇(一):Network Pruning via Performance Maximization 论文地址: 主要问题: 主要思路: 具体实现: 基本符号: 子网络生成: ...
CVPR 2021 论文和开源项目合集(Papers with Code)
摘自:https://github.com/amusi/CVPR2021-Papers-with-Code CVPR 2021 论文和开源项目合集 CVPR 2021 论文和开源项目合集(Papers ...
汇总|CVPR 2021 自动驾驶相关论文
在科学研究中,从方法论上来讲,都应"先见森林,再见树木".当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异.对于AI从业者来说,在广袤的知识森林中,系统梳理脉络 ...
CVPR 2021论文视角：计算机视觉现状
点击上方"机器学习与生成对抗网络",关注星标获取有趣.好玩的前沿干货! 作者 Georgian 来源 DeepHub IMBA 编辑极市平台本文根据今年的CVPR录用结果总结 ...
CVPR 2021 | 论文大盘点：3D目标检测
作者丨我爱计算机视觉@知乎来源丨https://zhuanlan.zhihu.com/p/389319123 编辑丨3D视觉工坊本篇汇总 3D 目标检测相关论文,包含基于单目.基于深度图.基于激光 ...

CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记

目录

简介

动机

方法

实验

CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记相关推荐

最新文章

热门文章