反事实VQA论文阅读
反事实VQA
数据集:VQA-CP,用于评估VQA模型的泛化能力。训练和测试数据分布不同。
弱化语言先验:使用单独的QA模块,在对抗训练或多任务学习中捕获语言先验。
如何在有偏训练下完成无偏的推断
基于语言先验的方法使用了一个单独的分支来学习语言先验,在测试时不使用该分支。这样的做法无法充分利用语言先验中的“好”的知识?
介绍和相关工作
简单地排除额外的分支不能利用良好的上下文。事实上,对于最近的去偏VQA方法来说,从整体中分离出好的和坏的仍然具有挑战性。
传统的VQA无法解开单模态语言相关性和多模态推理,即直接和间接影响。
语言偏差可以通过估计Q对A的直接因果效应,即纯语言效应来识别。
本文的主要贡献有三个方面。首先,我们的反事实推理框架是第一个将VQA中的语言偏差表述为因果效应的框架。 其次,我们为最近的去偏VQA工作提供了一种基于因果关系的新型解释。第三,我们的因果关系是通用的,适用于不同的基线VQA架构和融合策略。
前提知识
因果图:
因果效应:
总的影响
自然直接影响
总的间接影响
自然间接影响
VQA中的因果效应:
总的影响
自然直接影响
总的间接影响
因果图:
对问题来说,使用总的间接影响来去除纯语言效应。
研究方法和创新点
- 我们将语言偏见表述为问题对答案的直接因果效应,并通过从总因果效应中减去直接语言效应来减轻偏见。
- 提出了一种反事实推理框架CF-VQA来减少VQA中的语言偏差
- 对于近期的VQA去偏的工作,提供了一种新的因果视角。
- 作者认为基于语言先验的方法,可以统一到我们提出的反事实推理框架中作为特例。
核心思想
从总效应中减去纯语言效应便可完成无偏推理。
总体流程
- 公式计算
作者使用一个学习参数c,用来控制Z(q,v*,k*)的锐度(?),我们假设NDE的锐度应该相似于TE的锐度,一个不当的c会导致TIE由TE或是NDE主导,作者使用KL散度来估计c:
- 融合方法
- 损失函数计算
KL散度估计c,最小化Lkl时,仅更新参数c。最终的参数由两者共同决定。
实验设置
- 数据集:
- VQA-CP:用来评估VQA模型的鲁棒性;训练集和测试集上的答案分部完全不同,甚至相反
- VQA v2.0:一个平衡的VQA数据集,用于验证CF-VQA是否过度的修改了语言先验
- Baseline VQA archithectures:SAN, UpDn, and S-MRL
LMH中的因果效应
反事实VQA论文阅读相关推荐
- Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions 论文阅读笔记
Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions 论文阅读笔记 一.Abst ...
- 【华为推荐论文】如何学习未知样本?基于反事实学习的推荐系统技术研究(附论文下载链接)...
华为诺亚方舟实验室发布了最新研究成果<Improving Ad Click Prediction by Considering Non-displayed Events>,提出了一种基于反 ...
- 因果推断与反事实预测——几篇关联论文(二十六)
有几篇关联的论文,如果论文开源代码了,笔者比较喜欢读+code练习,所以看这类文献比较慢,先Mark再精读了- 文章目录 1 Auto IV: Counterfactual Prediction vi ...
- 因果推断与反事实预测——盒马KDD2021的一篇论文(二十三)
文章目录 1 已有研究者的描述 1.1 YuyangZhangFTD 1.1.1 Introduction 1.1.2 Problem Formulation 1.1.3 Counterfactual ...
- 快手+何向南团队最新论文Counterfactual Interactive Recommender System ,反事实推理融入离线强化学习,解决filter bubble/信息茧房问题
论文名:CIRS: Bursting Filter Bubbles by Counterfactual Interactive Recommender System 目录 链接 1. 相关背景 1.1 ...
- 《因果学习周刊》第8期:因果反事实预测
No.08 智源社区 因果学习组 因 果 学 习 研究 观点 资源 活动 关于周刊 因果学习作为人工智能领域研究热点之一,其研究进展与成果也引发了众多关注.为帮助研究与工程人员了解该领域的相关进展和 ...
- 深度学习论文阅读目标检测篇(一):R-CNN《Rich feature hierarchies for accurate object detection and semantic...》
深度学习论文阅读目标检测篇(一):R-CNN<Rich feature hierarchies for accurate object detection and semantic segmen ...
- 论文阅读:Grad-CAM
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization 神经网络输出可视化 文章目录 Grad ...
- 《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记 主要挑战贡献: KG上的推理挑战主要 ...
最新文章
- NeurIPS 2021 | 通过寻找平坦最小值,克服小样本增量学习中的灾难性遗忘
- RxJava中的doOnSubscribe默认运行线程分析
- 为什么我们不应该使用过多的线程
- 第八章 CTE 递归 及 分组汇总 高级部分(多维数据集)
- html中第一行代码,HTML5 CSS3初学者指南(1) – 编写第一行代码
- mysql查询字段转型_mysql转型
- Hbase权威指南(含目录,高清,免费)
- 傅佩荣谈道家逍遥自在的人生
- 采用顺序存储实现队列的初始化、入队、出队操作。/验证实验/
- matlab标题斜体_Matlab中下标,斜体,及希腊字母的使用方法
- 京东搭配购怎么设置,操作指南来啦
- 3D角色硬表面建模技巧与思路分享
- Ubuntu下的MySQL数据库
- python与金融量化_day33 Python与金融量化分析(三)
- SpringBoot Zxing _ Java 生成二维码(可内嵌图片)
- 使用Matlab2019b测试音频系统的频响(FreqResponse)与脉冲响应(ImpulseResponse)
- VC6.0编译出错Compiling...,Error spawning cl.exe的解决方法
- 龚文祥:VC看B2C的5个核心数据
- Java多线程编程:交替打印数字1234和字母abcd
- decodeString