本期小编挑选了几篇ICML2021中关于GNN的论文（附论文下载地址）分享给大家~包括图神经网络规范化、图表示能力增强、图神经网络的对抗攻击能力、图神经网络与强化学习结合控制图中动态传播问题、分子图卷积神经网络 (GCNN) 的正则化方法~

论文清单

1. GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

2. Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

3. A Collective Learning Framework to Boost GNN Expressiveness

4. How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

5. Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

（论文下载地址：https://arxiv.org/abs/2009.03294）

Normalization有助于优化深度神经网络。但不同的结构需要不同的规范化方法。在本文中，我们研究什么规范化方法对图神经网络 (GNN) 是有效的。首先，我们将现有的规范化方法应用到GNN中，并对其进行评估。与BatchNorm和LayerNorm相比，InstanceNorm的收敛速度更快。InstanceNorm 作为 GNN 的preconditioner，但由于图数据集中的大量的批处理噪声，BatchNorm 的这种预处理效果就显得较弱。其次，我们证明了InstanceNorm中的shift操作会导致GNN对于高度正则图的表达能力退化。我们提出了一种learnable shift的GraphNorm来解决这个问题。实验表明，使用GraphNorm的GNN比使用其他规范化方法的GNN收敛更快。此外，GraphhNorm还改进了GNN的泛化能力，在图分类中获得了更好的性能。

A Collective Learning Framework to Boost GNN Expressiveness

（论文下载地址：https://arxiv.org/abs/2003.12169）

图神经网络 (GNN) 最近已成功用于节点和图分类任务。但 GNN 建模的是相邻节点的属性之间的依赖关系，而不是观察到的节点标签之间的依赖关系。在本文中，我们考虑在监督和半监督下考虑到标签依赖性，使用 GNN 进行inductive node classification。当前的 GNN 不是通用的（即最具表现力的）图表示模型，我们提出了一种通用的collective learning方法，增强现有 GNN 的表示能力。我们的模型将collective classification的思想与自监督学习相结合，并使用蒙特卡罗方法对embeddings进行采样，以进行图之间的归纳学习。我们评估了模型在五个真实网络数据集上的性能，结果证明了模型可以显著提高节点分类的准确度。

Information Obfuscation of Graph Neural Networks

（论文下载地址：https://arxiv.org/abs/2009.13504）

图神经网络 (GNN) 的出现极大地改进了许多应用中的节点和图表示学习能力，但邻域聚合方法向试图提取敏感属性node-level信息的对手暴露了额外的漏洞。在本文中，我们研究了在使用图结构数据进行学习时，利用信息混淆来保护敏感属性的问题。我们提出了一个基于total variation和 Wasserstein 距离的对抗性训练框架，用于局部过滤掉预先确定的敏感属性。该方法可以对推理攻击形成了强大的防御。理论上，我们分析了该框架对抗最坏情况的有效性，并描述了最大化预测准确性和最小化信息泄漏之间的内在权衡。在来自推荐系统、知识图谱和量子化学的多个数据集上进行实验，实验表明，该方法在为下游任务生成 GNN 编码器的同时，可以为各种图结构和任务提供强大的防御能力。

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

（论文下载地址：https://arxiv.org/abs/2010.05313）

我们考虑控制图中partially-observed的动态传播过程的问题。例如，在安排病毒测试或选择应该被隔离的节点以遏制流行病蔓延；手动检查发布的文章来检测在线网络上传播的虚假新闻；鼓励产品的传播而进行的有针对性的营销，在这些情况下，都会遇到这个问题。当只能测试或隔离一小部分人口时，遏制传播并限制感染人群的比例变得具有挑战性。

为了应对这一挑战，我们将此问题建模为图上的顺序决策问题。面对指数级状态空间、组合动作空间和部分可观察性，我们提出了 RLGN，这是一种新颖的易处理强化学习 (RL) 方法，用于确定节点是否需要测试，并使用图神经网络 (GNN) 对图节点进行排序。我们在三种类型的社交网络中评估这种方法：社区结构、优先连接依赖preferential attachment 和 基于真实 cellular tracking的统计数据。实验表明，RLGN始终优于所有基线方法。与使用相同资源的非学习方法相比，在时间图上使用RL进行优先测试可以使健康人群的数量增加25%，控制疫情的频率比监督方法高30%，比非学习基线高2.5倍。

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

（论文下载地址：https://arxiv.org/abs/2105.04854）

对分子的哪些部分驱动了分子图卷积神经网络 (GCNN) 的预测进行合理解释是很困难。针对这个问题，论文提出了两种正则化方法，用于训练GCNN。Batch Representation Orthonormalization (BRO) 和 Gini regularization。受molecular orbital theory的启发，BRO鼓励用图卷积运算生成正交节点嵌入。Gini regularization应用于输出层的权重，并约束模型可用于进行预测的维数。Gini 和 BRO 正则化方法可以提高GCNN 归因方法在人工基准数据集上的准确性。在现实世界中，我们证明了药物化学家更倾向于从正则化模型中提取解释。虽然论文只在 GCNN 中研究这两种正则化方法，但Gini 和 BRO 正则化方法都可以应用于其他类型的神经网络中。

一起交流

想和你一起学习进步！『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定要备注信息才能通过）

- END -

深度融合 | 当推荐系统遇见知识图谱（三）

2021-06-02

全球 Top 1000计算机科学家公布：中国53位学者上榜！

2021-06-01

真不是炼丹，务实敢为的 MoCo v3

2021-05-24

RTX 3090的深度学习环境配置指南：Pytorch、TensorFlow、Keras

2021-05-23