VALSE学习（五）：看图说话-Visual Question Answering as Reading Comprehension

2024-04-23 07:46:14

VALSE2019

一、Visual Question Answering as Reading Comprehension

简介：开发一种能够对图像提出智能的、面向目标的问题的方法被证明是一个难以理解的挑战。为此，文章提出了一种深度强化

学习框架基于三个新的中间奖励，即目标实现，进步和鼓励产生简洁问题的信息性，从而发现有价值的问题向总目标迈进的信

息。通过直接优化快速解决的问题。为了全面实现这一目标，避免了现有方法产生长串疯狂的倾向增加很少价值的查询。在演讲

的第二部分，解决了视觉问题的回答使用阅读理解。视觉问题的回答需要同时理解两者图像视觉内容与自然语言问题。如何对复

杂的交互进行建模在视觉模式和文本模式之间进行转换并非易事。相比之下，挣扎在多模式特征融合，提出用自然语言统一所有

输入信息进行转换将VQA转换成机器阅读理解问题。这是向大规模开发迈出一步大量的文本和自然语言处理技术来解决VQA问

题。智能问答系统：主要是根据图片和语音提示回答内容，利用语音理解或者文本和视觉信息检测进行回答。

例如：这只鸟是什么颜色？这张图片中哪种动物可以爬树？

1、视觉部分：visual

2、文本部分：text

如何在同一个域整合视觉信息和文本信息，并且利用额外信息进行理解。

前人经验：

1、多个方法特征融合

向量链接、元素集求和

压缩、低秩、低秩二进制池化

2、基于知识的问答系统

文本分离

启发式关键字匹配

前人经验方法：视觉理解部分+文本理解

视觉理解：预训练单标签-参数转移-微调多标签输出-属性预测

文本理解：基于LSTM的文本摘要，根据问题进行单个词分析理解，再根据句子组合理解。

前人经验：

VALSE学习（五）：看图说话-Visual Question Answering as Reading Comprehension相关推荐

论文-《Visual Question Answering as Reading Comprehension Hui》笔记
论文下载摘要: Visual question answering (VQA) demands simultaneous comprehension of both the image visual ...
深度学习神经网络学习笔记-多模态方向-09-VQA: Visual Question Answering
摘要 -我们提出了自由形式和开放式视觉问答(VQA)的任务.给定一张图像和一个关于图像的自然语言问题,任务是提供一个准确的自然语言答案.镜像现实场景,比如帮助视障人士,问题和答案都是开放式的.视觉问题 ...
Visual Question Answering概述
目录任务描述应用领域主要问题主流框架常用数据集 Metrics 部分数据集介绍摘自这篇博客任务描述输入:图片III.由nnn个单词组成的问题Q={q1,...,qn}Q=\{ q_1,. ...
＜＜视觉问答＞＞2021：Learning Compositional Representation for Few-shot Visual Question Answering
目录摘要一.介绍. 二.RELATED WORK A. Visual Question Answering (VQA) B. Few-shot Learning C. Learning with ...
视觉问答（Visual Question Answering）论文初步整理
刚找的综述性文章:这两篇我没怎么看不知道怎么样 Visual Question Answering: Datasets,Algorithms, and Future Challenges Visual ...
谷歌浏览器中文版_中国科学家设计超薄指尖传感器，厚度不到A4纸五分之一 / 谷歌发布地图时光机：百年前，你家街道啥样？/ AI看图说话首超人类...
关注我们了解计算机视觉最新动态 ! 动态先览 1 中国科学家设计超薄指尖传感器,厚度不到A4纸五分之一 2 谷歌发布地图「时光机」:100年前, 你家街道长啥样? 3 仿真环境跟车2分钟,就让自动驾 ...
教你用PyTorch实现“看图说话”（附代码、学习资源）
作者:FAIZAN SHAIKH 翻译:和中华校对:白静本文共2200字,建议阅读10分钟. 本文用浅显易懂的方式解释了什么是"看图说话"(Image Captioning), ...
谷歌发布最新看图说话模型，可实现零样本学习，多类型任务也能直接上手
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达兴坤发自凹非寺量子位报道 | 公众号 QbitAI 谷歌新推 ...
【深度学习】实验6布置：图像自然语言描述生成（让计算机“看图说话”）
DL_class 学堂在线<深度学习>实验课代码+报告(其中实验1和实验6有配套PPT),授课老师为胡晓林老师.课程链接:https://www.xuetangx.com/training ...

最新文章

热门文章