超图神经网络 Hypergraph Neural Networks

论文出处：AAAI 2019

论文写作单位：1. 清华大学 2. 北京国家信息科学技术研究中心 3.厦门大学

论文关键字：超图神经网络（Hypergraph Neural Network）图卷积网络（Graph Convolutional network）

Code： GitHub - iMoonLab/HGNN: Hypergraph Neural Networks (AAAI 2019)

第一部分: 摘要

第1句：总体概括本论文所提出的方法—超图神经网络（HGNN）数据表示学习框架，并指出其核心贡献—编码高阶数据相关性

第2句：指出超图的应用场景—建模复杂数据更加灵活

第3、4句：简述实现超图网络的核心方法—超边缘卷积计算，并且指出该方法也适用于传统超图学习过程

第5句：再次重申HGNN是建模复杂数据相关性的通用框架

第6、7句：介绍实验任务及其对比，表明本文方法性能优越

第8句：强调HGNN很适合于处理多模态数据

第2部分：介绍

第1段：介绍图卷积神经网络相对于传统的卷积神经网络的优势：图卷积能够对不同的输入数据的图结构进行编码，在表示学习方面更具优势。

第2段：介绍第1段所提图卷积神经网络的缺陷—对对连接很难满足实际应用的需求，特别是多模态数据相关性的建模。作者通过图示说明了传统的图结构在表示常见的视觉连接、文本连接和社会连接的时候存在很多局限，限制了图卷积神经网络的进一步发展。

第3段：介绍本文方法—超图神经网络框架。与简单图中边的度都是2相比，超图可以使用其无度超边来编码高阶数据相关性（非成对连接）。如下图1所示，超图可以通过结合邻接矩阵联合使用多模态数据来生成超图。

图1 超图和图的对比

第4段：阐述本文所提出的超图神经网络框架HGNN。作者设计了一个超边缘卷积运算，以更好的利用高阶数据相关性进行表示学习。HGNN是一个可以建模多模态数据和复杂数据相关性的通用框架，传统的图卷积神经网络GCN可以看作是HGNN的一个特例。分类和目标检测的实验证明，HGNN方法在使用高阶和复杂数据关联学习表示方面更有效。

第4段：简要说明本工作的两大贡献：

1、提出超图神经网络框架HGNN用于使用超图结构进行表示学习。HGNN能够通过其超图结构形成复杂的高阶数据相关性，并能够高效地使用超边缘卷积运算，在处理多模态数据/特征方面是有效的。

2、HGNN在引文网络分类任务和视觉对象分类任务中性能优越，处理多模态数据时性能较好。

第3部分：相关工作

第1段：超图学习。讲述的超图学习的起源及其发展历程。

第2段：图神经网络。由于处理不规则数据的需求，图神经网络应运而生。接着介绍了谱方法中的卷积运算及其发展历程。

第4部分：方法—超图神经网络

引言：说明方法的总体结构：先介绍超图学习，然后给出超图上的谱卷积，最后分析两者之间的关系。

第4.1部分：超图学习理论

与简单图不同，超图中的超边连接两个或多个顶点。超图可以定义为G = (V;E;W)，包括一个顶点集V，一个超边集E，每个超边都被赋予一个权值W，这是一个边权值的对角矩阵。超图G可以表示为V × E的关联矩阵H，其项定义为

第4.2部分：超图上的谱卷积

第4.3部分：超图神经网络分析

根据多模态数据集的复杂相关性构造多个超边缘结构群，将超图邻接矩阵H和节点特征输入到HGNN中，得到节点输出标签。构建一个超边缘卷积层如下：

式中X(L)为超图在L层的信号，X(L+1)为超图在L的下一层的信号。σ为非线性激活函数，H是关联矩阵，W是超边的权值，De和Dv分别表示边度和顶点度的对角矩阵。

第4.4部分：超图神经网络实现

第一段：超图构建。以视觉对象分类任务为例，根据两个特征之间的欧氏距离来建超图。每个顶点代表一个视觉对象，超边由一个顶点与K个与其最近的邻接点连接而成，产生N条连接K+ 1个顶点的超边。由此产生的N X N的关联矩阵H，其中N X (K+1)项等于1，其他项为0。

第二段：节点分类模型。构建一个2层的HGNN模型，使用Softmax生成预测标签，使用交叉熵进行反向传播以更新参数。

第5部分：实验

引言：介绍所用数据集—引文网络分类和视觉目标识别，对比方法—图卷积方法和其他最新的方法。

第5.1部分：引文网络分类

第1段：介绍数据集的详细情况，以及生成HGNN的方式。

第2段：介绍实验设置。介绍训练参数以及细节。

第3段：实验结果讨论。根据该数据集上的实验结果表明HGNN能够达到最好的性能，与GCN相比明显有提升。

第5.2部分：视觉目标分类

第1段：介绍数据集和评测方式。

第2段：介绍超图构建的两种方式：一种是基于多模态特征的，另一种只使用一种模态。以一个对象为中心，使用10个最近对象来生成超边缘以构建超图。来自不同模态的相邻矩阵Hi串联起来，构建多模态超图相邻矩阵h。构造单模态特征和多模态特征的超图。

第3段：实验结果与讨论。本文所提的HGNN方法性能最优，较GCN更优。

总结：超图结构可以获得更好的性能。超图结构能够传递数据之间复杂的高阶相关性，与图结构和无图方法相比，能够更好地表示底层的数据关系。当特征是多模态数据时，HGNN灵活的超边缘将多模态信息整合在同一结构中，更有利于多模态关系的建模。

第6部分：结论

第1、2句：重申本文所提出的方法，将卷积运算推广到超图结构上。

第3句：概述算法细节，用超图拉普拉斯算子进行谱域上的卷积，并进一步用截断切比雪夫多项式逼近。

第4句：重申HGNN的优势—处理复杂数据的高阶相关性。

第5、6句：重申本文在多个数据集中与多个方法对比，其分类结果的性能优势。

超图神经网络 Hypergraph Neural Networks相关推荐

Hypergraph Neural Networks HGNN
Hypergraph Neural Networks HGNN论文阅读 [摘要]在本文中,我们提出了一个用于数据表示学习的超图神经网络(HGNN)框架 ①它可以在超图结构中编码高阶数据相关性.面对在实 ...
(HGNN) Hypergraph Neural Networks
Hypergraph Neural Networks 1.Abstract 提出了一个用于数据表示学习的超图神经网络(HGNN)框架,它可以在超图结构中编码高阶数据相关性.面对在实际实践中学习复杂数据 ...
DHGNN:Dynamic Hypergraph Neural Networks
IJCAI-19-Dynamic Hypergraph Neural Networks 动机贡献 DHNN DHC(动态超图construction) 超图卷积节点卷积超边卷积实验 Cora ...
[HyperGraph专题]HGNN+:General Hypergraph Neural Networks
最近在做和超图相关的工作,自己主要偏编码的工作,但在敲代码和参考其他现有超图库的过程中发现了一个叫DeepHypergrah的库,里面涉及了很多和深度学习相关的内容,用到了pytorch.scipy. ...
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)(二)
前面我们说了CNN的一般层次结构, 每个层的作用及其参数的优缺点等内容.深度学习之卷积神经网络(Convolutional Neural Networks, CNN)_fenglepeng的博客-CS ...
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)
前面, 介绍了DNN及其参数求解的方法(深度学习之 BP 算法),我们知道DNN仍然存在很多的问题,其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸.那么,人们又是怎么解决这个问题的呢?本节的卷积 ...
利用激活图谱探索神经网络-Exploring Neural Networks with Activation Atlases (上)
利用激活图谱探索神经网络-Exploring Neural Networks with Activation Atlases(上) 瞎白话正文概览简介查看单张图像聚合多张图像原文链接原文 ...
卷积神经网络Convolutional Neural Networks深度解析I
知识的广度来自知识的深度,学习如果不成体系那是多可怕的一件事儿,希望我们在未来的学习道路上坚守初心,不要给自己留下遗憾,以自己喜欢的方式生活,做自己喜欢做的事,宠爱自己,做一个独一无二的自己! 对于文 ...
深入解析神经网络（Neural Networks）工作原理
目录 1. 神经网络的基本组成部分 2. 神经元和激活函数 3. 前向传播 4. 反向传播 5. 神经网络的层次结构 6. 神经网络的应用 7. 使用Python和TensorFlow库实现简单神经网 ...
《DeepLearning.ai》第十课：卷积神经网络(Convolutional Neural Networks)
第十课:卷积神经网络(Convolutional Neural Networks) 1.1 计算机视觉(Computer vision) 通常如果处理大图用传统的神经网络需要特别大的输入,因此需要大量 ...

超图神经网络 Hypergraph Neural Networks

超图神经网络 Hypergraph Neural Networks相关推荐

最新文章

热门文章