总结 | 四篇图网络综述文章提出的Future Directions
A Comprehensive survey on Graph Neural Networks
1. 网络加深（Go Deep）
深度学习的成功在于深度神经架构。例如在图像分类中，ResNet模型有152层。
然而，当涉及到图结构时，实验研究表明[147]，随着层数的增加，模型性能显著下降。这可能是因为图卷积使得相邻结点的表示更加相似，因此理论上，在无限次卷积的情况下，所有结点的表示都将收敛到一个点。这就提出了一个问题，即网络加深对于学习图结构化数据是否仍然是一个好策略。
2. 感受野（Receptive Field）
结点的感受野是指包括中心结点及其相邻结点在内的一组结点。结点的邻居数遵循幂律分布。有些结点可能只有一个邻居，而其他结点可能有多达数千个邻居。虽然已经采用了抽样策略[24]、[26]、[27]，但是如何选择一个具有代表性的结点感受野仍有待探索。
3. 可扩展性（Scalability）
大多数图神经网络不能很好地适用于大型图（large graph），其主要原因是在叠加多层图卷积时，一个结点的最终状态涉及到大量相邻结点的隐藏状态，导致反向传播的复杂性很高。虽然有几种方法试图通过快速采样[45]、[46]和子图训练[24]、[27]来提高模型效率，但它们的可扩展性仍不足以处理具有大型图的深层架构。
4. 动态与异构性（Dynamics and Heterogeneity）
目前大多数的图神经网络都是处理静态同构图。
静态：假设图结构是固定的。
同构：假设图中的结点和边来自单一来源（single source）。
然而，这两个假设在许多情况下并不现实。在社交网络中，新的人可以随时进入网络，现有的人也可以退出网络。在推荐系统中，产品可能有不同的类型，其中输入可能有不同的形式，如文本或图像。因此，应该开发新的方法来处理动态和异构的图结构。
参考文献：
[147] Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
[24] Inductive representation learning on large graphs
[26] Learning convolutional neural networks for graphs
[27] Large-scale learnable graph convolutional networks
[45] Fastgcn: fast learning with graph convolutional networks via importance sampling
[46] Stochastic training of graph convolutional networks with variance reduction
Deep Learning on Graphs: A Survey
1. 不同类型的图（Different types of graphs）
由于图数据的结构千差万别，现有的方法无法处理所有这些数据。例如，大多数方法都集中在同构图上，而很少研究异构图，尤其是那些包含不同形式的图，如[120]。在有符号网络（signed networks）中，负边表示节点之间的冲突，它也具有独特的结构，并对现有的方法提出了额外的挑战[121]。表示两个以上对象之间复杂关系的超图[122]也未被研究。下一个重要的步骤是设计特定的深度学习模型来处理这些不同类型的图。
2. 动态图（Dynamic graphs）
现有的方法大多集中在静态图上。然而，许多真实的图形本质上是动态的，结点、边及其特征可以随着时间的推移而改变。例如，在社会网络中，人们可以建立新的社会关系，消除旧的关系，他们的爱好和职业等特征会随着时间的推移而改变。新用户可以加入网络，而旧用户可以离开。如何对动态图的演化特征进行建模，并支持逐步更新模型参数，这在很大程度上仍然是文献中的开放问题。一些初步的工作试图用图RNN架构来解决这个问题，结果还不错[95]，[97]。
3. 可解释性（Interpretability）
由于图通常与其他学科相关，因此解释图的深度学习模型对于决策问题至关重要。例如，在医学或与疾病相关的问题中，可解释性对于将计算机实验转化为临床应用是非常重要的。然而，基于图的深度学习的可解释性比其他黑盒模型更具挑战性，因为图中的结点和边之间存在着高度互联（heavily interconnected）。
4. 组合性（Compositionality）
如前几节所示，许多现有的体系结构可以一起工作，例如使用GCN作为GAE或GRAPH RNN中的层。除了设计新的构建块之外，如何以原则性的方式组合这些架构也是一个有趣的未来方向。最近的一项工作，Graph Networks[9]迈出了第一步，重点是使用GNN和GCN的通用框架解决关系推理问题。
参考文献：
[120] Heterogeneous network embedding via deep architectures
[121] Signed graph convolutional network
[122] Structural deep embedding for hyper-networks
[95] Dynamic graph neural networks
[97] Dynamic graph convolutional networks
[9] Relational inductive biases, deep learning, and graph networks
Graph Neural Networks: A Review of Methods and Applications
1. 浅层结构（Shallow Structure）
传统的深度神经网络可以叠加数百层以获得更好的性能，因为深度神经网络的结构参数较多，大大提高了表达能力。然而，图神经网络往往是浅层的，大部分都不超过三层。叠加多个GCN层将导致过度平滑，也就是所有结点将收敛到相同的值。尽管一些研究人员已经设法解决了这个问题[52]，[53]，但它仍然是GNN的最大限制。设计真正的深度GNN是未来研究的一个令人兴奋的挑战，将对理解GNN做出巨大贡献。
2. 动态图（Dynamic Graphs）
另一个具有挑战性的问题是如何处理具有动态结构的图。静态图是稳定的，因此可以对其进行可行性建模，而动态图则引入了变化的结构。当边和结点出现或消失时，GNN不能自适应地改变。动态GNN正被积极研究，我们认为它是一个关于通用GNN稳定性和适应性的里程碑。
3. 非结构场景（Non-Structural Scenarios）
虽然我们已经讨论了GNN在非结构化场景中的应用，但是我们发现没有从原始数据生成图的最佳方法。在图像领域，一些工作利用CNN获取特征图，然后将它们上采样，形成超像素作为结点[56]，而另一些工作则直接利用一些目标检测算法来获取目标结点。在文本域[17]中，一些工作使用句法树作为句法图，而其他工作则采用完全连接的图。因此，找到最佳的图形生成方法将提供更广泛的领域，GNN可以在这些领域做出贡献。
4. 可扩展性（Scalability）
如何在社交网络或推荐系统等网络规模的条件下应用嵌入方法，对于几乎所有的图嵌入算法来说都是一个致命的问题，GNN也不例外。扩展GNN很困难，因为许多核心步骤在大数据环境中计算消耗非常大。关于这种现象有几个例子：首先，图数据是非欧的，每个结点都有自己的邻域结构，因此不能应用批处理。然后，当有数百万个结点和边时，计算图拉普拉斯也是不可行的。此外，我们还需要指出，缩放（scaling）决定了算法是否能够应用于实际应用。有几项工作提出了解决这一问题的办法[105]，我们正在密切关注这一进展。
参考文献：
[52] Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
[53] Gated graph sequence neural networks
[56] Semantic object parsing with graph LSTM
[17] Iterative visual reasoning beyond convolutions
[105] Graph convolutional neural networks for web-scale recommender systems
Relational inductive biases, deep learning, and graph networks
1. 如何得到准确的图结构作为图网络的输入
深度学习直接作用于原始感官数据(图像、文本)，而如何将这些原始感官数据转化为准确的结构性表示(图结构)，最好的方法目前还不得而知。有一种方法是使用全连接图，但这种表示可能无法准确地对应真实实体。另外，比起全连接图，很多情况下图结构是非常稀疏的，如何确定稀疏性？一些论文提出了解决方法[1,2,3,4]，但还没有公认的唯一解决方法。这个问题一旦解决，就能打开更有效且灵活的推断算法的大门。
2. 如何在计算过程中适应性地修正图结构
如果一个物体分裂成多个，那么表示该物体的结点也应该分裂成多个结点， 同样，应该增加或移除边的连接，只保留有联系的物体之间的边。该如何保证这种适应性，一些研究也提出了它们的解决方案[3,4]。
3. 可解释性与可视化
人类认知作出了一个强有力的假设，即世界是由物体和关系组成的，由于图网络也作出了类似的假设，他们的行为往往更易于解释。图网络运作的实体和关系通常与人类理解的事物相对应，从而支持更可解释的分析和可视化[5]。进一步探讨图网络行为的可解释性是今后工作的一个有趣方向。
参考文献：
[1] Visual interaction networks: Learning a physics simulator from video
[2] Relational neural expectation maximization: Unsupervised discovery of objects and their interactions
[3] Learning deep generative models of graphs
[4] Neural relational inference for interacting systems
[5] Learning a sat solver from single-bit supervision
本文总结
综合以上四篇综述文章，图网络的Future Directions主要包括：
1. 网络加深
2. 动态与异构图
3. 可扩展性（large graph）
4. 可解释性
5. 非结构性图构建
6. 组合性
总结 | 四篇图网络综述文章提出的Future Directions相关推荐
- 《Graph Neural Networks: A Review of Methods and Applications》图网络综述 -- 解析笔记
Graph Neural Networks: A Review of Methods and Applications 相关推荐 概要 原文链接 内容概括 要点分析 图神经网络 生疏词汇 笔记 符号表 ...
- 【Linux从青铜到王者】第十四篇:Linux网络基础第一篇
系列文章目录 文章目录 系列文章目录 前言 一.计算机网络的发展过程 1.独立模式 2.网络互联模式 3.局域网LAN 4.广域网WAN 二.认识计算机网络协议 1.协议的概念 2.什么是网络协议 3 ...
- 第四篇 AlexNet——网络实战
文章目录 摘要 1 项目结构 2 划分训练集和测试集 3 计算mean和Standard 3.1 标准化的作用 3.2 归一化的作用 4 训练 4.1 导入项目使用的库 4.2 设置随机因子
- 首篇 NLP 领域图神经网络综述：127 页，从图构建到实际应用面面观
点击下面卡片,关注我呀,每天给你送来AI技术干货! 选自 | arXiv 作者 | Lingfei Wu等 转自 | 机器之心 编辑 | Panda 在 Transformer 推动自然语言处理领域迅 ...
- 首篇NLP领域图神经网络综述：127页，从图构建到实际应用面面观
来源:机器之心本文约4900字,建议阅读10分钟 本文带你了解如何用图神经网络解决自然语言处理问题. 在 Transformer 推动自然语言处理领域迅猛发展的当下,基于图神经网络的 NLP 研究也不 ...
- 推特800赞：图网络论文实现大合集，70多篇分门别类，从未如此全面 | 已过1k星...
方栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI △ 右边是不规则的 自从科学家发现,图神经网络 (GNN) 能处理不规则数据.攻克从前难解的问题,后每每出现图网络的资源,便广受人类的喜爱 ...
- 学界 | DeepMind等机构提出「图网络」：面向关系推理
来源:机器之心 摘要:近日,由 DeepMind.谷歌大脑.MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交的论文<Relational inductive biases, deep ...
- 图网络 | Graph Attention Networks | ICLR 2018 | 代码讲解
[前言]:之前断断续续看了很多图网络.图卷积网络的讲解和视频.现在对于图网络的理解已经不能单从文字信息中加深了,所以我们要来看代码部分.现在开始看第一篇图网络的论文和代码,来正式进入图网络的科研领域. ...
- 【前端学习之HTMLCSS进阶篇】-- HTML第四篇 -- 美化表单
[前端学习之HTML&CSS进阶篇]-- HTML第四篇 – 美化表单 文章目录 [前端学习之HTML&CSS进阶篇]-- HTML第四篇 -- 美化表单 前言 一.新的伪类 1. f ...
- Excel催化剂开源第50波-Excel与PowerBIDeskTop互通互联之第四篇
答应过的全盘分享,也必承诺到底,此篇PowerBI功能分享的最后一篇,讲述如何导出数据模型的元数据,笔者定义其为模型的数据字典. 此篇对应功能实现出自:第6波-导出PowerbiDesktop模型数据 ...
最新文章
- 安装npm_前端开发：node.js的node包管理器npm安装以及使用
- python docker自动化_自动化 – 自动创建docker容器并启动python脚本
- Python DataFrame数据清洗后行索引不连续——reset_index
- HTML5DOM红蓝盒子,DOM介绍以及使用方法(示例代码)
- Front End Accessibility Development Guide
- 适用于大型项目的TinyCircuits，硬件需求较小
- 【MongoDB系列】：MongoDB 查询应用
- 微软再次强调：爱开发 爱 Linux！
- oracle数据的闪回——删库跑路？老铁别想了！
- 计算机nas一般指用户,NAS网络存储器·什么是网络服务
- 数学建模——熵权法步骤及程序详解
- Flowchart流程图和 Mermaid流程图的对比
- Android 手机上获取手机当前上网IP地址（手机网关给手机号分配的IP）
- An error occurred while filtering resources
- Iron man2钢铁侠2
- 【二分】C. Keshi Is Throwing a Party
- springboot2核心技术与响应式编程（一）
- 远程桌面树莓派【内网穿透】
- 09-长调用与短调用
- Dao跨事务调用实现转账功能