【CVPR2020-中科院计算所】多模态GNN：在视觉信息和场景文字上联合推理
关注上方“深度学习技术前沿”，选择“星标公众号”，
资源干货，第一时间送达！
即使有可靠的OCR模型，要回答需要在图片中阅读文字的问题，也对现有模型构成了一个挑战。其中最困难的是图片中经常有罕见字，多义字，比如地名，产品名，球队名。
为了克服这个困难，我们的模型利用了图片中多个模态的丰富信息来推测图片中文字的语义，例如酒瓶上显眼位置的字样很可能是酒名。
有了这样的直观感受，我们设计了一个新的VQA模型---多模态图神经网络(MM-GNN)。它会首先构建一个具有三个子图的特征节点图，分别描述视觉，文字，和数字模态。此后，我们设计了三个融合子，在子图间或子图内进行信息传递。增强过后的节点特征被证明可以很好地帮助下游任务，我们在ST-VQA和Facebook的Text-VQA上都取得了SOTA的成绩。
论文速递
便捷下载，请关注深度学习技术前沿公众号
后台回复“MGNN” 就可以获取《【CVPR2020-中科院计算所】多模态GNN：在视觉信息和场景文字上联合推理》下载链接
推荐阅读：
CVPR 2020 Oral | 人脸识别Loss新突破：旷视提出Circle Loss，革新深度特征学习范式
【CVPR2020-Oral】上交&华为：GPA跨域目标检测
【CVPR2020】百度入选22篇论文涵盖全视觉领域！
重磅！自然语言处理技术交流群已成立！
欢迎各位NLPer加入自然语言处理技术交流群，本群旨在交流文本分类、语音识别、阅读理解、机器翻译、情感分析、信息检索、问答系统等自然语言处理领域内容。自然语言处理领域前沿信息将会第一时间在群里发布！欢迎大家进群一起交流学习！
麻烦大家进群后请备注：研究方向+地点+学校/公司+昵称（如文本分类+杭州+浙大+小民）
广告商、博主请绕道！
???? 长按识别，即可进群！
【CVPR2020-中科院计算所】多模态GNN：在视觉信息和场景文字上联合推理相关推荐
- 中科院计算所沈华伟：GNN发展简史，诟病才是成长动力
文:周寅张皓 图神经网络(Graph Neural Network)的应用在近年来蓬勃发展,但同时对其质疑也从未消失.诸如对与大规模图数据的存储问题,表达能力问题,以及数据集的规范问题引发了许多讨论. ...
- 论文速递 | 华为开源自研算法Disout | 中科院计算所GCN中文综述
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习>手 ...
- 2022物联网工程保研经历分享（中科院计算所、中科院软件所、中科大、南大、华中科技大学、北航、哈工大、中山大学等）
2022物联网工程保研经历分享(中科院计算所.中科院软件所.中科大.南大.华中科技大学.北航.哈工大.中山大学等) 背景 学校:安徽某普通工科211.专业:物联网工程.rank:夏令营:1/101,预 ...
- CVPR2020 | 中科院VIPL实验室录取论文详解
点击我爱计算机视觉标星,更快获取CVML新技术 编者按:近日,计算机视觉顶会 CVPR 2020 接收论文结果揭晓,从 6656 篇有效投稿中录取了 1470 篇论文,录取率约为 22%.中科院VIP ...
- 英特尔携手中科院计算所建立中国首个 oneAPI 卓越中心
11月12日,在第三届中国超级算力大会(ChinaSC 2021)上,英特尔与中国科学院计算技术研究所共同建立中国首个 oneAPI 卓越中心,来扩大 oneAPI 对中国本土国产硬件的支持及使用on ...
- 中科院计算所实习-深度学习方向
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale推荐 推荐人:王琦,中国科学院硕士,Datawhale成员 中科院计算所-深度 ...
- NeurIPS 2020 ：新一代算法“鉴黄师”诞生，中科院计算所研究生一作
贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 不知道那位不愿意透露姓名的唐马儒先生,现在看太阳还是不是绿色的? 第一代网络鉴黄师,牺牲小我,造福了千万家. 撇开玩笑不谈,维持健康良好的 ...
- 多核之后，CPU 的发展方向是什么？中科院计算所包云岗提 20 点新思考
作者:包云岗 在知乎上有一个问题:多核之后,CPU 的发展方向是什么? 中科院计算所研究员.智源学者包云岗针对该问题进行了详细回答.智源社区将包云岗研究员的回答内容转载过来,供读者参考. 包云岗,中国 ...
- NeurIPS 2020中国入选论文：新一代算法“鉴黄师”诞生，中科院计算所研究生一作...
贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI 不知道那位不愿意透露姓名的唐马儒先生,现在看太阳还是不是绿色的? 第一代网络鉴黄师,牺牲小我,造福了千万家. 撇开玩笑不谈,维持健康良好的 ...
最新文章
- Failed to load module script: The server responded with a non-JavaScript MIME type of “text/plain“.
- 前方高能：1024程序员节读书攻略来来来来啦！
- soap php 分开类,将请求处理到同一PHP SOAP服务器中的多个类
- 八、操作系统——基本分页存储管理的基本概念（详解）
- Flask form(登录，注册)
- SQL Server和MysQL中的联表更新sql示例
- 快来！前端君喊你加入快驾网智囊团
- 关于不过洋节的通知_平安夜、圣诞节安全教育告家长通知书
- 在Nginx/Tengine服务器上安装SSL证书
- 禹洲：我们这一代人的困惑
- 书籍推荐：零基础入门学习Python
- Android----Google code android开源项目(二)
- Windows上使用Netbeans进行Linux C开发
- java编写的视频网站实例_一个在线视频网站的java web 后端开发
- android抢qq红包源码,QQ抢红包插件实现
- 【基带】手机外设之SIM卡槽电路及其变化
- 装双系统win10和android,教你安装Win10和安卓Android双系统(不是模拟器)
- 黑科技智能家电新生儿“智能冰箱”
- php如何实现性格测试,一个很准的性格测试
- 七彩虹主板进BIOS设置和打开启动项菜单快捷键