Embodied Question Answering导读

论文链接Arxiv

这篇文章提出了AI领域一项新的具有挑战性的任务EmbodiedQA：在环境中任意位置的agent在得到一个问题后，能够自己在环境中寻找有用的信息并对该问题作出回答。比如：Q: 汽车是什么颜色的？
要回答这个问题，agent必须学会：
1）active perception（主动感知）：Agent必须学会根据其对世界的感知、潜在的物理约束以及对问题的理解，将其视觉输入映射到正确的行为。
2）commonsense reasoning（常识推理）：agent要学到“我在哪？汽车一般在哪里？车库对于我来说在哪个方向？”
3）language grounding（语言基础）：在 EmbodiedQA中，不是把question对应到像素点而是对应到动作序列。
4）credit assignment（分数分配）：做完一系列正确的动作后会有一个分数，一旦有一个动作错误，便拿不到这个分数，但是并不知道是中间的哪个动作出错，要解决这个问题。

下图可以直观地描述这个问题：

EQA和之前的一些工作的对比：

1）VQA – 视觉问答中没有主动的动作，模型的输入只是单一图像配合文本类型的问题，模型在封闭答案集上分类选出最适合的答案，也有一些视觉问答任务是基于的生成式模型，根据图像和文本生成一段文本回答。

2）Video QA – 任务同VQA相似，将VQA中的单张图片的输入替换成视频（处理时往往采样为多帧的图像）即可。

3）Visual Dialog – 通过给模型输入单张图片和文本句子，使得模型根据给定的图片与用户进行对话的生成。

4）EQA – 论文的工作，给定agent一个文本问题，需要agent自行规划探索路径进行主动的在虚拟环境中进行搜索关键位置，找到符合问题的场景后，利用探索的路径过程中得到的图像信息，并最终给出答案。

Embodied Question Answering导读相关推荐

CVPR 2018 paper Embodied Question Answering 读后感
建立一个AI task Embodied Question Answering (EmbodiedQA),实现以下功能: 构建一个agent 提出一个问题(e.g. What color is the ...
Interactive natural language question answering over knowledge graphs论文导读
论文导读目录 Abstract introduction 1 抛砖引的玉(砖见于图谱构建综述吧) 2 现有方法介绍 3 问题驱动 4 挑战与贡献 Interaction approach overv ...
Check It Again: Progressive Visual Question Answering via Visual Entailment
最近要做关于VQA的项目,要读paper-这里收集了一些有关于这篇paper的资料. 资料导读: SFFAI 130 视觉问答专题<佀庆一:中国科学院信息工程研究所在读博士> 2021: ...
Visual Question Answering: Datasets, Algorithms, and Future Challenges心得体会
最近刚好在写综述,也看了一篇较早的综述性文章,作为VQA入门性文章还是值得一看的,这边自己记录了一下关于这篇文章的阅读体会,以及相关部分翻译,以供自己学习写作为用. 文章下载地址:Visual Que ...
Video Question Answering综述
目录引言选择型视频问答开放型视频问答选择型.开放型均可的视频问答结论参考文献引言视频问答是视觉语言领域较为新兴的一个课题,需要根据视频内容和问题进行分析,得出问题的答案.根据回答形式, ...
Visual Question Answering概述
目录任务描述应用领域主要问题主流框架常用数据集 Metrics 部分数据集介绍摘自这篇博客任务描述输入:图片III.由nnn个单词组成的问题Q={q1,...,qn}Q=\{ q_1,. ...
学习Knowledge Graph Embedding Based Question Answering代码笔记
前言最近被导师安排学习一下[Knowledge Graph Embedding Based Question Answering] 这篇paper,这篇paper的重点在于运用了Knowledge ...
Chapter7-13_Dialogue State Tracking (as Question Answering)
文章目录 1 什么是Dialogue State Tracking 2 数据集 3 两个挑战 4 经典模型本文为李弘毅老师[Dialogue State Tracking (as Question ...
Chapter7-11_Deep Learning for Question Answering (2/2)
文章目录 1 Simple Question: Match & Extract 2 Complex Question: Reasoning 3 Dialogue QA 本文为李弘毅老师[Dee ...

Embodied Question Answering导读

Embodied Question Answering导读相关推荐

最新文章

热门文章