转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn]

另一篇：【阅读】A Comprehensive Survey on Distributed Training of Graph Neural Networks

文中，涉及到公式部分的翻译不准确，请看对应原文。

摘要

简介

2 图神经网络的预测

3 分布式GNN训练与挑战

3.1 通用分布式GNN训练流水线

3.2 分布式 GNN 训练的挑战

3.3 分布式 GNN 训练技术的分类

4 GNN 数据分区

4.1 GNN的成本模型

4.2 GNN 中的图划分

4.3 GNN 中的特征划分

5 GNN 批量生成

5.1 分布式采样的小批量生成

5.2基于分区的小批量生成

6 GNN 执行模型

6.1 计算图生成执行模型

6.2 计算图执行模型

7 GNN 通信协议

7.1 同步 GNN 通信协议同步

7.2 异步GNN通信协议

8 分布式 GNN 训练系统

8.1 单机多 GPU 系统

8.2 GPU 集群上的系统

8.3 CPU 集群上的系统

8.4 其他

9 未来方向

10 结论

摘要

图神经网络（GNNs）是一种在图上学习的深度学习模型，并已成功应用于许多领域。尽管 GNN 有效，但 GNN 有效地扩展到大型图仍然具有挑战性。作为一种补救措施，分布式计算成为训练大规模 GNN 的一种有前途的解决方案，因为它能够提供丰富的计算资源。然而，图结构的依赖性增加了实现高效分布式 GNN 训练的难度，导致大量通信和工作负载不平衡。近年来，在分布式 GNN 训练方面做出了很多努力，并提出了一系列训练算法和系统。然而，缺乏对从图处理到分布式执行的优化技术的系统回顾。在本次调查中，我们分析了分布式 GNN 训练的三大挑战，即海量特征通信、模型精度损失和工作负载不平衡。然后，我们为分布式 GNN 训练中的优化技术引入了一种新的分类法，以应对上述挑战。新分类法将现有技术分为四类，即 GNN 数据分区、GNN 批处理生成、GNN 执行模型和 GNN 通信协议。我们仔细讨论了每个类别中的技术。最后，我们分别总结了用于多 GPU、GPU 集群和 CPU 集群的现有分布式 GNN 系统，并讨论了可扩展 GNN 的未来发展方向。

简介

GNN 是处理图建模问题的强大工具，并已广泛应用于各种应用，包括社交网络（例如，社交垃圾邮件发送者检测 [87、112]、社交网络分析 [91]）、生物信息学（例如，蛋白质界面预测 [35]、疾病-基因关联 [83]）、药物发现 [11、66]、流量预测[61]、医疗保健 [2、21]、推荐 [32、49、 55、111]、自然语言处理 [134、145] 和其他 [26、85、133、141、144]。通过将图结构信息集成到深度学习模型中，GNN 可以获得比传统机器学习和数据挖掘方法明显更好的结果。

GNN 模型通常包含多图卷积层，其中每个顶点聚合其邻居的最新状态，更新顶点的状态，并将神经网络（即转换）应用于顶点的更新状态。以传统的图卷积网络（GCN）为例，在每一层中，一个顶点使用求和函数聚合邻居状态和自己的状态，然后应用单层 MLP 来转换新状态。如果层数为

【阅读】Distributed Graph Neural Network Training: A Survey——翻译相关推荐

Alleviating the Inconsistency Problem of Applying Graph Neural Network to Fraud Detection阅读笔记
Alleviating the Inconsistency Problem of Applying Graph Neural Network to Fraud Detection阅读笔记文章标题:A ...
Reinforcement Learning Enhanced Heterogeneous Graph Neural Network阅读笔记
强化学习增强异质图神经网络代码源:https://github.com/zhiqiangzhongddu/RL-HGNN 摘要异构信息网络(HINs)涉及多种节点类型和关系类型,在许多实际应用中非 ...
Graph Neural Network for Traffic Forecasting: A Survey
Jiang W , Luo J . Graph Neural Network for Traffic Forecasting: A Survey[J]. 2021. (PDF百度就有) 摘要这篇 ...
论文《Bilinear Graph Neural Network with Neighbor Interactions》阅读
论文<Bilinear Graph Neural Network with Neighbor Interactions>阅读论文概况 Introduction Bilinear Grap ...
文献阅读（24）KDD2020-GCC：Graph Contrastive Coding for Graph Neural Network Pre-Training
本文是对<Graph Contrastive Coding for Graph Neural Network Pre-Training>一文的浅显翻译与理解,如有侵权即刻删除. 朋友们,我 ...
图神经网络综述 Survey on Graph Neural Network
图神经网络综述 Survey on Graph Neural Network 摘要:近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注.图神经网络的出现使其在上述任务中取得了重 ...
（阅读笔记）SecureNN: 3-Party Secure Computation for Neural Network Training
安全三方计算网络推理与训练动机与挑战系统模型基础知识安全计算协议设计 SecureNN框架理论分析(通信复杂度) 实验结果参考文献动机与挑战参与方数据或外包数据隐私问题,本文考虑三方设 ...
【论文阅读】MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
用于异质图嵌入的元路径聚合图神经网络摘要 1 引言 2 准备工作 3 相关工作 3.1 GNN 3.2 异质图嵌入 4 方法 4.1 节点内容转换 4.2 元路径内部聚合 4.3 元路径间的聚合 4 ...
论文阅读 - Social Bot-Aware Graph Neural Network for Early Rumor Detection - CCF B
目录摘要: 1 绪论 2 问题定义 3 SBAG模型 3.1社交机器人检测 3.2 机器人感知图神经网络 3.2.1基于GCN的用户发布 3.2.2 基于GAT的用户交互 3.2.3文本编码器 3. ...

【阅读】Distributed Graph Neural Network Training: A Survey——翻译

摘要

简介

【阅读】Distributed Graph Neural Network Training: A Survey——翻译相关推荐

最新文章

热门文章