文献阅读（03）Computing Graph Neural Networks: A Survey from Algorithms to Accelerators
作者：SERGI ABADAL, AKSHAY JAIN, ROBERT GUIRADO, JORGE LÓPEZ-ALONSO, and EDUARD ALARCÓN
目录
文章脉络：
缩写&&引用：
1 INTRODUCTION：
(1)本质：
(2)难点：
(3)目前所作的尝试：
（4）关于gnns算法及其应用的文献：
2.GNNs符号以及一般结构
2.1 Notation
2.2 General Structure
2.3 Computing GNN Inference
2.4 Computing GNN Training （计算机 gnn 训练）
3 THE EVOLUTION OF THE GNN FIELD（gnn领域的发展）
3.1 A General Perspective
3.2 An Algorithm Perspective（算法发展）
GNN algorithm classifications：算法分类。如下图所示：
Comprehensive frameworks（综合框架）
Programming models（编程模型）
4 THE REVOLUTION OF GNN ACCELERATION（GNN加速的革命）
4.1 软件框架和加速器
4.2硬件加速器
4.3 Discussion
5 . GNN ACCELERATION: THE VISION（GNN加速:视觉）
5.1 Software-Hardware Co-Design（软硬件合作设计）
5.2 Graph Awareness（图形感知）
5.3 Communication-Centric Design（ 以通信为中心的设计）
6 CONCLUSION
文章脉络：
本文是关于图神经网络的一篇综述。内容主要包括：图神经网络的概念；图神经网络的发展以及演变；关于图神经网络的加速器部分；最后是关于图神经网络在加速器中的架构设计，重点在通信中的作用。文章的主要脉络如下图所示。
缩写&&引用：
GNNS:Graph Neural Networks 图神经网络
CCS:code compaser studio 集成开发环境
ML:machine learning 机器学习
MLP：多层感知机
RL:represent learning 表示学习
DL:deep learning 深度学习
DNNS:Deep Neural Networks 深度神经网络
CNNS:Convolutional Neural Networks卷积神经网络
RNNS:Recursive Neural Networks 循环神经网络
KG：知识图谱
WL：Weisfeiler-Lehman 图同构测试
DNN:深度神经网络
GCN:图卷积神经网络
GIN:图同构神经网络
Graph SAGE：图神经网络的一种算法。GS包含采样和聚合 (Sample and aggregate)，首先使用节点之间连接信息，对邻居进行采样，然后通过多层聚合函数不断地将相邻节点的信息融合在一起。
LSTM：长短期记忆网络
GAT：图注意力网络
Highway GCN：高速路GCN，它像高速路网络一样使用逐层门限。
GRN：图循环网络
GRU：循环神经网络
RELU：线性整流函数，是神经网络中常用的激活函数
SGC ：GCN的变体。通过消除 GCN 层间的非线性，将非线性的 GCN 转变为简单的线性模型，减小了模型复杂度 ，在很多任务上比 GCN 以及其他 GNN 模型更加高效。
commtNet：多智能体通讯网络
GGNN：门控图神经网络
GCMC：图卷积矩阵补全
PaddlePaddle：百度深度学习平台
GEMM：通用矩阵乘
1 INTRODUCTION：
In essence, GNNs adapt their structure to that of an input graph and, through an iterative process of aggregation of information across vertices, capture the complex dependences ofthe underlying system
(1)本质：
(i) support both dense and extremely sparse operations(ii) adapt the computation to the specific GNN algorithm variant and the structure of the graph at hand(iii) scale to very large graphs to realize its potential in certain applications.
(2)难点：
(i)支持稠密和极其稀疏的操作
(ii)使计算适应特定的 gnn 算法变量和目前的图的结构
(iii)规模到非常大的图，以实现其在某些应用中的潜力。
(3)目前所作的尝试：
Even though advances in sparse/irregular tensor processing [34] and graph processing [63, 154] may prove useful in accelerating GNNs, addressing their unique computing challengesrequires more specialized proposals. Some attempts have been done from a software perspective, i.e. adapting the GNN operations to better match the capabilities of CPUs or GPUs [106, 144, 155]; and from a hardware perspective, i.e. designing custom processors tailored to the demands of GNNs [7, 53, 103, 164]. However, recent surveys and reviews[11, 16, 19, 66, 91, 160, 181, 185] lack of comprehensive analysis of such advances.
尽管稀疏/不规则张量处理和图形处理的进步可能证明在加速 gnns 方面是有用的，但是解决它们独特的计算挑战需要更加专业化的建议。
为了解决这一挑战，在软件以及硬件方面已经做了一些尝试。比如在软件方面使得gnns更好的匹配cpu以及gpu；硬件方面制定处理器来满足gnns。
（4）关于gnns算法及其应用的文献：
2.GNNs符号以及一般结构
2.1 Notation
聚合函数和组合函数的符号的差异点：
2.2 General Structure
gnns的一般结构如上图所示，主要分为以下三个步骤：
(1) Pre-processing: this is an initial and optional step generally done offline that can transform the input feature vectors and graph structure representation through a precoding process. This may be used to sample the graph, to re-order the graph towards reducing the algorithm complexity and its processing, or to encode the feature vectors, among others[23, 28, 65, 77, 141, 176, 181].(2) Iterative updates: After the pre-processing, the feature vectors of each edge and vertex are updated via the aggregate–combine functions iteratively. To update the edges, attributes from the edge itself, the connected vertices, and the graph are aggregated into a single set and combined to yield a new edge feature vector. Similarly, updating the vertices implies aggregating the feature vectors from neighboring vertices文献阅读（03）Computing Graph Neural Networks: A Survey from Algorithms to Accelerators相关推荐
- 文献笔记：Benchmarking graph neural networks for materials chemistry
文献笔记:Benchmarking graph neural networks for materials chemistry 摘要 Introduction RESULTS DISCUSSION M ...
- 【推荐系统-＞论文阅读】Dynamic Graph Neural Networks for Sequential Recommendation（用于序列推荐的动态图神经网络）
Dynamic Graph Neural Networks for Sequential Recommendation(用于序列推荐的动态图神经网络) Mengqi Zhang, Shu Wu,Mem ...
- 论文阅读：Meta-Learning in Neural Networks: A Survey
题目:Meta-Learning in Neural Networks: A Survey 论文地址:https://arxiv.org/abs/2004.05439 作者:Timothy Hospe ...
- 【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016
一.Abstract 从近期对unsupervised learning 的研究得到启发,在large-scale setting 上,本文把unsupervised learning 与superv ...
- A Comprehensive Survey on Graph Neural Networks(图神经网络综合研究)
A Comprehensive Survey on Graph Neural Networks 图神经网络综合研究 Zonghan Wu, Shirui Pan, Member, IEEE, Feng ...
- 【阅读】A Comprehensive Survey on Distributed Training of Graph Neural Networks——翻译
转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn] (本文中,涉及到公式部分的翻译不准确,请看对应原文.) 另一篇:[阅读]Distributed Graph Neural Networ ...
- 【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（7）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](7) Into the Weeds Other types of grap ...
- 【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
- 【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（5）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](5) Graph Neural Networks 图神经网络 Now th ...
- 【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（4）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](4) The challenges of using graphs in ...
最新文章
- CUDA C编程接口技术分析
- RabicMQ基本概念
- 曾经废寝忘食学到的技术，现在都没用了......
- docker的镜像创建与Dockefile的编写
- react项目如何按需加载antdDesign组件
- zabbix snmp自定义OID nginx监控实例（55）
- java 获取年 两位,java使用jxl读取日期年份只显示前两位的解决方法
- Oracle数据库merge into的使用，存在则更新，不存在则插入
- 淘宝前端框架kissyui
- 【搜索引擎】强推！最好用资源最全的十个百度网盘搜索引擎
- Windows读取NXP MiFare Ultralight C类型NFC卡片的信息
- 人工智能现状和发展趋势
- 再无风清扬，再有少年郎
- 计算机开机进桌面很久,教你解决win10电脑开机黑屏很久才进入桌面的方法
- Heart Rate Variability Analysis with the HRV Toolkit: Basic Time and Frequency Domain Measures
- Hadoop(三)-Hadoop文件配置
- Spark连接MySQL数据库并读取数据
- 《贝叶斯思维：统计建模的Python学习法》——2.3 贝叶斯框架
- Windows值得推荐的桌面管理软件
- tcp端对端 ip点对点
热门文章