©PaperWeekly 原创 · 作者｜石壮威

学校｜南开大学硕士生

研究方向｜机器学习、图神经网络

本文 [1] 提出图神经网络的二阶池化方法，用以从节点表示中学习图的表示。与现有的图池化方法相比，二阶池化能够通过二阶信息增强图池化的性能。本文提出了两种基于二阶池化的全局图池化方法：双线性映射与注意力二阶池化。此外，作者将注意力二阶池化推广到了层次图池化方法。作者在图分类任务进行了详细的实验，实验结果表明，该方法在图分类任务上表现优秀。

论文标题：

Second-Order Pooling for Graph Neural Networks

Arxiv地址：

https://arxiv.org/abs/2007.10467

IEEE官网地址：

https://ieeexplore.ieee.org/document/9104936

代码地址：

https://github.com/divelab/sopool

图池化

考虑一个图 G=(A,X)，其中 A 和 X 分别表示邻接矩阵和特征矩阵，假设图的节点数为 n，节点特征维度为 d，那么 ，图神经网络（GNN）从通过图的拓扑结构和特征矩阵，为每个节点学习一个 f 维的表示。

而图池化，则是通过表示矩阵 H，为全图学习一个 c 维的特征向量。

其中 g 是图池化函数。池化函数 g 必须满足以下两个要求。

1. 对于不同的图，节点数 n 是不同的，但 g 输出的向量维度应该固定，以适应分类器。

2. 将 H 中不同行的顺序调换，应输出相同的 。

将 H 矩阵不同行的顺序调换，等价于左乘一个置换矩阵 。

注记1（置换矩阵）例如，将一个三阶矩阵的第 1, 2 行调换，等价于左乘置换矩阵

置换矩阵满足 。

若 H1 是 H2 的一个置换排列，即存在置换矩阵 P 使得 ，那么 。

注记2（图神经网络三种基本的池化方法）均值池化（mean pooling 或 average pooling）、加和池化（sum pooling）和最大值池化（max pooling）是图神经网络中最常见、最简易的两种池化方法。定义如下。

容易验证，这三种池化方法都满足以上的两个要求。

二阶池化

定义1（二阶池化）

容易证明，二阶池化 SOPOOL 满足上述的、图池化的两个性质。

通过 SOPOOL 得到的 f 阶矩阵，可以拉伸为一个 维的向量。

作者提出了两种进行二阶池化的方式，即双线性二阶池化（SOPOOLbimap）和注意力二阶池化（SOPOOLattn）。

定义2（双线性二阶池化）通过一个全连接层，将节点特征由 f 维降到 维，再进行 SOPOOL，即

定义3（注意力二阶池化）

其中，μ 是一个 f 维的、可学习的向量。

注记3（注意力机制）回顾注意力机制的计算过程，考虑一个词嵌入矩阵：

其中 表示单词个数， 表示每个词向量表示的维度。则注意力的计算可以表示为：

其中 是一个可学习的、 维的向量。（9）-（10）式写成矩阵形式为 ，（11）式就是这一过程省略了 softmax 归一化的形式。

双线性二阶池化和注意力二阶池化的计算过程如图 1 所示。

多头注意力与层次图二阶池化

多头注意力（multi-head attention），是使用注意力机制的一种常用方法 [2]，也被广泛适用于图神经网络中 [3]。作者基于注意力二阶池化，定义了多头注意力二阶池化（SOPOOLmattn）。

定义4（多头注意力二阶池化）

（16）式定义了一个 k 头注意力二阶池化，设 ，则（16）式等价于：

（15）式也可以从层次图池化（hierarchical graph pooling）的角度加以解释。所谓层次图池化，是指将一个有 n 个节点的图聚类为 k 个簇（即转化为一个有 k 个节点的图，其中 k<n），多次重复这一过程，直到 k=1，这个单节点图的节点表示向量，就是图的表示向量，这一思想已经在多种图池化方法中得到应用 [4][5]。这一过程可以表示为：

在本文提出的多头注意力二阶池化中，H' 的计算如（15）式，而邻接矩阵则可以这样计算：令：

则：

实验

作者在 10 个图分类数据集上做了实验，包括 3 个化合物分类数据集（MUTAG, PTC, NCI1），2 个蛋白质分类数据集（DD, PROTEINS）和 5 个社交网络分类数据集（COLLAB, IMDB-BINARY, IMDB-MULTI, REDDIT-BINARY, REDDIT-MULTI5K）。这里，作者使用图同构网络（GIN）[6] 作为进行池化前的 GNN 模型。

在表 1 中，作者对比了 SOPOOLbimap, SOPOOLattn, SOPOOLmattn 与其他图分类方法，包括基于图核（graph kernel）[7] 的方法和基于 GNN 的方法。

在表 2 中，作者在都使用图同构网络（GIN）[6] 作为进行池化前的 GNN 模型的前提下，对比了SOPOOLbimap, SOPOOLattn, SOPOOLmattn 与其他图池化方法。

在表 3 中，作者使用不同的 GNN 作为进行池化前的 GNN 模型，结果表明，使用GIN-0 [6] 的效果最好。

在表 4 中，作者对比了 SOPOOLmattn 和不同的基于层次图的图池化算法。在表 5 中，作者对比了 SOPOOLmattn 在不同层数下的表现。

表 1，表 2 和表 4 体现了本文所提出的 SOPOOL 在图分类任务上超越了现有了 SOTA 方法，体现出卓越的性能，表 3 和表 5 则为优化 SOPOOL 的结构提供了参考。

参考文献

[1] Z. Wang and S. Ji, Second-Order Pooling for Graph Neural Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.

[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, Attention is all you need, in Advances in Neural Information Processing Systems, 2017, pp. 5998–6008.

[3] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, Graph attention networks, in International Conference on Learning Representations, 2018.

[4] Z. Ying, J. You, C. Morris, X. Ren, W. Hamilton, and J. Leskovec, Hierarchical graph representation learning with differentiable pooling, in Advances in Neural Information Processing Systems, 2018, pp. 4800–4810.

[5] H. Gao and S. Ji, Graph U-Net, in International Conference on Machine Learning, 2019.

[6] K. Xu, W. Hu, J. Leskovec, and S. Jegelka, How powerful are graph neural networks, in International Conference on Learning Representations, 2019.

[7] N. Shervashidze, P. Schweitzer, E. J. v. Leeuwen, K. Mehlhorn, and K. M. Borgwardt, “Weisfeiler-Lehman graph kernels,” Journal of Machine Learning Research, vol. 12, no. Sep, pp. 2539–2561, 2011.

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site

• 所有文章配图，请单独在附件中发送

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。