当图网络遇上计算机视觉!计算机视觉中基于图神经网络和图Transformer的方法和最新进展...
点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
点击进入—> CV 微信技术交流群
可能是目前最全面的《当图网络遇上计算机视觉》综述!近四百篇文献,覆盖五大主题 全面阐述计算机视觉中基于图神经网络和图Transformer的方法和最新进展!
A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective
论文:https://arxiv.org/abs/2209.13232
近年来,由于在图表示学习(representation learning on graphs)和非网格数据(non-grid data)上的性能优势,基于图神经网络(Graph Neural Network)的方法被广泛应用于不同问题并且显著推动了相关领域的进步,包括但不限于数据挖掘(例如,社交网络分析、推荐系统开发)、计算机视觉(例如,物体检测、点云处理)和自然语言处理(例如,关系提取、序列学习)。
考虑到图神经网络已经取得了丰硕的成果,一篇全面且详细的综述可以帮助相关研究人员掌握近年来计算机视觉中基于图神经网络的方法的进展,以及从现有论文中总结经验和产生新的想法。可惜的是,我们发现由于图神经网络在计算机视觉中应用非常广泛,现有的综述文章往往在全面性或者时效性上存在不足,因此无法很好的帮助科研人员入门和熟悉相关领域的经典方法和最新进展。同时,如何合理的组织和呈现相关的方法和应用是一个不小的挑战。
图神经网络发展史
在本文中,我们首先介绍了图神经网络的发展史和最新进展,包括最常用、最经典的图神经网络和图Transformer。然后,我们以任务为导向对计算机视觉中基于图神经网络(包括图Transformer)的方法和最新进展进行了全面且详细的调研。具体来说,我们根据输入数据的模态将图神经网络在计算机视觉中的应用大致划分为五类:自然图像(二维)、视频、视觉+语言、三维数据(例如,点云)以及医学影像。在每个类别中,我们再根据视觉任务的不同对方法和应用进一步分类。
建立在自然图像(二维)上的视觉任务包括 Image Classification (multi-label、few-shot、zero-shot、transfer learning),Object Detection,Semantic Segmentation,和 Scene Graph Generation。
建立在视频上的视觉任务包括 Video Action Recognition,Temporal Action Localization,Multi-Object Tracking,Human Motion Prediction,和 Trajectory Prediction。
视觉+语言方向的任务包括 Visual Question Answering,Visual Grounding,Image Captioning,Image-Text Matching,和 Vision-Language Navigation。
建立在三维数据上的视觉任务包括 3D Representation Learning (Point Clouds、Meshes),3D Understanding (Point Cloud Segmentation、3D Object Detection、3D Visual Grounding),和 3D Generation (Point Cloud Completion、3D Data Denoising、3D Reconstruction)。
建立在医学影像上的任务包括 Brain Activity Investigation,Disease Diagnosis (Brain Diseases、Chest Diseases),Anatomy Segmentation (Brain Surfaces、Vessels、etc)。
这种以任务为导向的分类法使我们能够研究不同的基于图神经网络的方法是如何处理每个任务的,以及较为公平地比较这些方法在不同数据集上的性能。在内容上我们还涵盖了基于Transformer的图神经网络方法,和在ECCV2022上发表的相关文章。
已覆盖的计算机视觉中的相关领域
在文章中我们指出了图神经网络在视觉任务中面临的挑战,同时也揭示了一些鲜有人研究但是很有意义的方向,例如,如何从规则网格数据中获得抽象的图结构。这篇综述不仅帮助研究人员回顾了最新的技术进展,而且还可以作为计算机视觉从业者的参考手册,方便他们对实际问题进行分类并寻找潜在的解决方案。
上面综述PDF下载
后台回复:GNN综述,即可下载上面论文
图神经网络和Transformer 交流群成立
扫描下方二维码,或者添加微信:CVer222,即可添加CVer小助手微信,便可申请加入CVer-图神经网络或Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如GNN / Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲扫码或加微信号: CVer222,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看
当图网络遇上计算机视觉!计算机视觉中基于图神经网络和图Transformer的方法和最新进展...相关推荐
- db的中英文全称_DB是什么?解读《北京遇上西雅图》中英语文化
<北京遇上西雅图>正在热映,电影中由吴秀波饰演的男主角Frank一直被称为"DB".那么DB到底是什么意思呢?为什么Frank会被叫做DB呢?让我们和"文佳佳 ...
- Matlab之在城市环境中基于动态占用网格图的的运动规划仿真(附源码)
目录 一.介绍 二.设置场景和基于网格的跟踪器 三.设置运动规划器 四.结果 五.总结 六.程序 此示例演示如何使用 Frenet 参考路径在城市驾驶场景中执行动态重新规划.在此示例中,将使用本地环境 ...
- 服务器上的Linux中Tomcat有时会挂掉的问题及方法
QUESTION:服务器上的Linux中Tomcat有时会挂掉的问题及方法? 目录 QUESTION:服务器上的Linux中Tomcat有时会挂掉的问题及方法? ANSWER: 一.内存不足 二.服务 ...
- 两个一样的图像相除会怎么样_【壮凌自动化分析】一种动力电池生产中基于图像运动模糊的速度检测方法...
一种动力电池生产中基于图像运动模糊的速度检测方法 1.西南大学 电子信息工程学院,重庆 400715) 2.非线性电路与智能信息处理重庆市重点实验室,重庆 400715) 1.当前背景与成熟方法介绍 ...
- linux进程看门狗使用方式,Linux系统中基于看门狗的精细化进程监控方法及系统的制作方法...
Linux系统中基于看门狗的精细化进程监控方法及系统的制作方法 [技术领域] [0001] 本发明涉及Linux系统的进程监控技术领域,特别是涉及一种Linux系统中基于看 门狗的精细化进程监控方法及 ...
- 比较两组数据的差异用什么图更直观_试验数据统计中常用的 量,图,和线再也不担心文章的统计用图了!...
本文来源:小麦研究联盟 今天跟大家详细总结一下我们农业试验数据统计中常用的 量,图,和线. 如果不想看下边长篇大论,请看小编给您总结的懒人包: 标准差: 群体的标准差是群体中所有数据方差的平方根,它衡 ...
- 在基于图论的Java程序中基于DSL的输入图数据的方法
我们大多数人已经编写了一些程序来处理图论算法,例如查找两个顶点之间的最短路径,查找给定图的最小生成树等等. 在这些算法的每一种中,表示图形的编程方式是使用邻接矩阵或邻接表 . 两者都不是定义图形输入的 ...
- transformer预测过程_2019最新进展 | Transformer在深度推荐系统中的应用
作者 | Alex-zhai 来源 | 深度传送门(ID:deep_deliver) [导读]最近基于Transformer的一些NLP模型很火(比如BERT,GPT-2等),因此将Transform ...
- java利用xml生成excel_JAVA环境中基于XML的一种EXCEL报表生成方法
JAVA环境中基于XML的一种EXCEL报表生 成方法 彭海波王哓东 昆明理工大学信息工程与自动化学院, 云南昆明 650051 摘要:本文探讨了JAVA语言环境下的基于XML的一种EXCEL报表实现 ...
最新文章
- js function如何传入参数未字符串_Python爬虫 JS 案例讲解:爬取漫画
- 3D神经接口系统可以感知和操纵“微型脑“
- 集成学习(ensemble learning)(四)
- 233. Number of Digit One
- notepad设置中文
- Android功耗(17)---省电续航-AAL 屏幕内容省电
- android中sharedPreferences的用法
- php git pull
- Tomcat原理简述
- 数据结构(python语言描述)第一章
- vue和bootstrap-switch结合坑
- [Android] 微信apk.1安装器,200k可隐藏 解决微信传apk自动改名apk.1f无法安装问题
- mysql日期转季节_JavaScript_day02_15_查看一年四季变化案例说明
- #Excel公式应用#从数据透视表进一步汇总文本信息
- 强化学习笔记-01强化学习介绍
- 畜牧养殖物联网的应用功能
- 硬件工程师电路设计十大要点
- [svn]svn conflict 冲突解决
- 函数式接口:Lambda表达式的优点
- 赵小楼:《天道》《遥远的救世主》解读(31)丁元英的“天行健君子以自强不息”