论文浅尝 - EMNLP2020 | ConceptBert：视觉问题回答的概念感知表示

2024-05-08 10:03:02

笔记整理 | 陈卓，浙江大学计算机科学与技术系，博士研究生

研究方向 | 知识图谱/图神经网络/多模态

论文链接：https://www.aclweb.org/anthology/2020.findings-emnlp.44.pdf

代码：https://github.com/ZiaMaryam/ConceptBERT

发表会议：EMNLP 2020

任务核心ideas

模型概览

流程如下：

得到对应模态的嵌入表示
通过两个并行模态融合模块
- 视觉-语言（输出2个向量）
- 知识-语言（输出1个向量）
聚合三种向量
- 带有语言信息的视觉向量
- 带有视觉信息的语言向量
- 带有外部知识的语言向量
分类器进行答案分类

背景知识

借鉴AAAI2020的一篇文章（Commonsense knowledge base completion with structural and semantic context）中所提到的ConceptNet embedding 作为I2020 常识概念图中的实体表示

借鉴NIPS2019中一篇文章中的多模态交叉attention方法，交叉视觉和语言两条stream分别使用了自己的query和来自另一边的key和value向量，进行信息融合

模型方法

输入模块：

编码模块：

包括：

1：图片与bert的联合编码

2：bert与Kgembedding的联合编码

3：3个编码方式的聚合

实验

作者在OK-VQA数据集上达到了sota，但是在VQA标准数据集VQA2.0上并没有达到。主要原因是因为该方法侧重于常识与背景知识，在trick上不如当前SOTA的VQA模型（效果接近76%）。

同时，该论文避开了FVQA数据集，猜测原因是在该数据集上表现不佳（该数据上大部分方法都是基于pipeline，这种end2end的方法不好去对标）

总结与灵感

常识知识库某种程度上可增强许多VQA任务，哪怕不是显式地需要外部知识
多模态任务中以图的形式引入外部知识依然有很大的潜力可以挖掘
预训练fine-tune +（交叉）注意力机制 + 外部知识 + KG图结构 - - > 信息最大化

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 网站。

论文浅尝 - EMNLP2020 | ConceptBert：视觉问题回答的概念感知表示相关推荐

论文浅尝 - EMNLP2020 | 通过词重排序跨语言解析
笔记整理 | 吴林娟,天津大学硕士来源:EMNLP2020 链接:https://www.aclweb.org/anthology/2020.findings-emnlp.265.pdf 动机依赖 ...
论文浅尝 - EMNLP2020 | 图结构对于多跳问答而言必要吗？
笔记整理 | 陈卓,浙江大学计算机科学与技术系,博士研究生研究方向 | 知识图谱,图神经网络,多模态论文链接:https://www.aclweb.org/anthology/2020.emnlp ...
论文浅尝 - EMNLP2020 | 跨媒体关键词预测: 多模态多头注意力和图像文本的统一框架...
论文笔记整理:柏超宇,东南大学硕士. 文章链接:https://arxiv.org/pdf/2011.01565.pdf 来源:EMNLP 2020 动机社交媒体每天都会产生大量的内容.为了帮助用户 ...
论文浅尝 | 基于知识图谱的子图匹配回答自然语言问题
本文转载自公众号:珞珈大数据. 本次论文讲解的是胡森邹磊于旭王海勋赵东岩等作者写的论文-Answering Natural Language Questions by Subgrap ...
论文浅尝 - EMNLP2020 | 基于规则引导的协作 agent 知识图谱推理学习
论文笔记整理:叶橄强,浙江大学在读硕士,研究方向为知识图谱的表示学习和预训练. 来源:EMNLP 2020 现有的大多数基于行走的模型通过在提供可解释的决策的同时获得良好的性能,在知识图谱推理中显示出 ...
论文浅尝 - EMNLP2020 | 低资源跨语言实体链接中的设计挑战
论文笔记整理:谭亦鸣,东南大学博士. 来源:EMNLP 2020 链接:https://arxiv.org/pdf/2005.00692.pdf 1.背景介绍跨语言实体链接(XEL)旨在将任一非英语 ...
论文浅尝 \ 联合知识图谱实例和本体概念的通用表示学习
论文笔记整理:周虹廷,浙江大学研究生.研究方向:知识图谱,图表示学习等. 论文链接: http://web.cs.ucla.edu/~yzsun/papers/2019_KDD_JOIE.pdf 本文 ...
论文浅尝 | DKN: 面向新闻推荐的深度知识感知网络
笔记整理:仲亮靓,东南大学硕士研究生,研究方向是基于知识图谱的推荐系统动机新闻文本的语言非常凝练,其中包含了很多实体和常识知识.但目前的新闻个性化推荐方法都没有利用这些外部知识,也没有使用新闻之间 ...
论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读代码
本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...

最新文章

热门文章