关注 ▲对白▲ 和百万AI爱好者，一起向上生长

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rmaLSZQ6-1648641159925)(https://mmbiz.qpic.cn/mmbiz_png/BIxKnWsJfBaBgElrJznf5ru32R3FqBYiaPOOG835fsjMVEeLWo67Y66okh5fX8OAPgepaNYXtc9gEWYL7YqLOQw/640?wx_fmt=png)]

这是对白的第 83 期分享

作者 l 对白出品 l 对白的算法屋

大家好，我是对白。

今天给大家解读一篇NIPS2021中GNN与对比学习结合的论文，后面会持续更新NIPS2021中关于对比学习（Contrastive Learning）论文的解读，欢迎大家关注。

这篇论文来自美国普渡大学，通过引入对抗学习作为图数据增强方法，从而避免在训练期间捕获冗余信息导致下游任务效果差的问题。

一、摘要

由于现实世界图/网络数据中普遍存在的标签稀缺问题，因此非常需要图神经网络 (GNN) 的自监督学习。图对比学习 (GCL) 通过训练 GNN 以最大化相同图在不同增强形式中的表示之间的对应关系，即使不使用标签也可以产生鲁棒且可迁移的 GNN。然而，由传统 GCL 训练的 GNN 经常冒着捕获冗余图特征的风险，因此可能很脆弱，并且在下游任务中效果很差。在这里，我们提出了一种新的方法，称为对抗性图对比学习 (AD-GCL)，它使 GNN 能够通过优化 GCL 中使用的对抗性图增强策略来避免在训练期间捕获冗余信息。我们将 AD-GCL 与理论解释相结合，并基于可训练的边缘下降图增强设计了一个实用的实例。通过与最先进的 GCL 方法相比，我们通过实验验证了 AD-GCL ，在 18 个不同的基准数据集的任务中，在无监督学习中实现了高达 14%、在迁移学习中高达 6% 和在半监督学习设置中的 3% 的性能提升。

AD-GCL 由两个组件组成：第一个组件包含一个 GNN 编码器，它采用 InfoMax 来最大化原始图及其增强图的表示之间的对应/互信息。第二个组件包含一个基于 GNN 的增强器，旨在优化增强策略以尽可能减少原始图中的冗余信息。AD-GCL 本质上允许编码器捕获最少的足够信息来区分数据集中的图形。我们进一步提供了 AD-GCL 的理论解释。我们表明，通过对增强器的搜索空间进行一定的正则化，AD-GCL 可以产生与下游任务相关的信息的下限保证，同时保持原始图中冗余信息的上限保证，这符合信息瓶颈（IB）原则的目标。

二、AD-GCL 的理论动机和制定

等式3中的 InfoMax 原理对于一般表示学习在实践中可能会出现问题。Tschannen 等人已经表明，对于图像分类，捕获与图像标签完全无关的信息的表示也能够最大化互信息，但这种表示对于图像分类绝对没有用。在图表示学习中也可以观察到类似的问题，如下图所示：

我们考虑数据集 ogbg-molbace 中的图的二元图分类问题。两个具有完全相同架构的 GNN 编码器被训练以保持图表示和输入图之间的互信息最大化，但同时一个 GNN 编码器由随机图标签进一步作监督。尽管由随机标签监督的 GNN 编码器仍然在每个输入图与其表示（即互信息最大化）之间保持一对一的对应关系，但我们可能会在对下游ground-truth标签进行评估时观察到该 GNN 编码器的显著性能退化。

这一观察激励我们重新思考什么是好的图表示。最近，信息瓶颈（IB）已应用于学习图表示。具体来说，图信息瓶颈（GIB）的目标如下：

InfoMax 和 GIB 的区别：InfoMax 要求最大化原始图中的信息，而 GIB 要求最小化此类信息但同时最大化与下游任务相关的信息。

不幸的是，GIB 需要来自下游任务的类标签 Y 的知识，因此不适用于只有很少或没有标签的

GNN 的自监督训练。然后，问题是如何以自监督的方式学习鲁棒且可迁移的 GNN。

为了解决这个问题，我们将开发一种 GCL 方法，该方法使用对抗学习来避免在表示学习期间捕获冗余信息。一般来说，GCL 方法使用图数据增强 (GDA) 过程来扰乱原始观察到的图并减少它们编码的信息量。然后，这些方法将 InfoMax 应用于扰动图对（使用不同的 GDA）来训练编码器 f 来捕获剩余的信息。

定义1：图数据增强（GDA）

AD-GCL：我们在GDA上优化以下目标

三、实验分析

3.1 无监督学习:

3.2 GDA模型正则化分析：

3.3 迁移学习：

我们评估由 AD-GCL 训练的 GNN 编码器在迁移学习上预测化学分子特性和生物蛋白质功能。我们按照设置并使用相同的数据集：GNN 使用自监督学习在一个数据集上进行预训练，然后在另一个数据集上进行微调以测试分布外性能。在这里，我们只考虑 AD-GCL-FIX，因为 AD-GCL-OPT 只会有更好的性能。我们采用的基线包括没有预训练的 GIN（即，没有对第一个数据集进行自我监督训练，只有微调），InfoGraph、GraphCL、三种不同的预训练策略包括分别利用边、节点和子图上下文的边预测、节点属性掩蔽和上下文预测。

根据上表所示， AD-GCL-FIX 在 9 个数据集中的 3 个数据集中显着优于基线，并且在这 9 个数据集中实现了 2.4 的平均排名，这优于所有基线。请注意，尽管 AD-GCL 在某些数据集上仅获得第 5 名，但 AD-GCL 仍显着优于 InfoGraph和GraphCL，两者都是强大的GNN 自训练baseline。与 InfoGraph和GraphCL相比，基于领域知识和广泛的评估， AD-GCL 实现了更接近于那些基线（EdgePred、AttrMasking 和 ContextPred）。这是相当重要的，因为我们的方法仅使用边缘下降 GDA，这再次显示了 AD-GCL 原理的有效性。

3.4 半监督学习：

最后，我们在基准 TU 数据集上对图分类的半监督学习评估 AD-GCL。

GNN 使用自监督学习在一个数据集上进行预训练，然后在同一数据集上基于 10% 的标签监督进行微调。同样，我们只考虑 AD-GCL-FIX 并将其与几个baseline进行比较：

没有预训练的 GCN，它直接由 10% 的标签从头开始训练；
SS-GCN-A，一种通过创建随机增强引入更多标记数据然后从头开始训练的baseline；

3）一种预测方法GAE在预训练阶段利用邻接重建和 GCL 方法；

InfoGraph；
GraphCL；

请注意，这里我们必须保持编码器架构相同，因此 AD-GCL-FIX 采用 GCN 作为编码器。

四、总结

在这项工作中，作者开发了一个理论上有动机的新颖原理：AD-GCL，它超越了传统的InfoMax 目标，用于 GNN 的自监督学习。与下游任务无关的最佳 GNN 编码器是那些捕获最少足够信息来识别数据集中每个图的编码器。为了实现这一目标，AD-GCL 建议通过以对抗方式优化图增强来更好地进行图对比学习。实验结果表明，ADGCL优于InfoGraph和GraphCL等强大的GNN 自训练baseline。

技术交流群邀请函

已建立CV/NLP/推荐系统/多模态/内推求职等交流群！想要进交流群学习的同学，可以直接扫下方二维码进群。

加的时候备注一下：昵称+学校/公司。群里聚集了很多学术界和工业界大佬，欢迎一起交流算法心得，日常还可以唠嗑~

关于我

你好，我是对白，清华计算机硕士毕业，现大厂算法工程师，拿过8家大厂算法岗SSP offer（含特殊计划），薪资40+W-80+W不等。

高中荣获全国数学和化学竞赛二等奖。

本科独立创业五年，两家公司创始人，拿过三百多万元融资(已到账)，项目入选南京321高层次创业人才引进计划。创业做过无人机、机器人和互联网教育，保研清华后退居股东。

我每周至少更新三篇原创，分享人工智能前沿算法、创业心得和人生感悟。我正在努力实现人生中的第二个小目标，上方关注后可以加我微信交流。

期待你的关注，我们一起悄悄拔尖，惊艳所有

超越GraphCL，GNN+对比学习的节点分类新SOTA相关推荐

超越SimCSE两个多点，Prompt+对比学习的文本表示新SOTA
可能是因为对比学习,今年以来文本表示方向突然就卷起来了,SOTA刷的嗖嗖的,我还停留在我们ConSERT的阶段,结果别人不精调就已经超了. 昨天实习同学发了我几篇Open Review上ACL的投稿, ...
天大本科生论文入选CVPR 2022，实现深度学习长尾分类新SOTA
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达丰色发自凹非寺量子位 | 公众号 QbitAI 本科生搞科研到 ...
CVPR 2022 | 天大本科生论文入选！深度学习长尾分类新SOTA
文 | 丰色发自凹非寺源 | 量子位(QbitAI) 本科生搞科研到底能做出什么成绩? 最新被CVPR 2022收录的一篇论文中,提供了一种新思路来解决深度学习中长尾分布数据的分类问题,最终实现 ...
VideoCLIP-FacebookCMU开源视频文本理解的对比学习预训练，性能SOTA！适用于零样本学习！...
关注公众号,发现CV技术之美 0 写在前面在本文中,作者提出了VideoCLIP,这是一种不需要下游任务的任何标签,用于预训练零样本视频和文本理解模型的对比学习方法.VideoCLIP通过对比时间重 ...
张俊林：对比学习研究进展精要
作者 | 张俊林编辑 | 夕小瑶的卖萌屋对比学习(Contrastive Learning)最近一年比较火,各路大神比如Hinton.Yann LeCun.Kaiming He及一流研究机构比如F ...
对比学习 ——simsiam 代码解析。
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https ...
对比学习在微博内容表示的应用
对比学习在微博内容表示的应用一.什么是对比学习 1. 渊源与谱系目前,对比学习并没有一个非常明确的定义.综合来看,对比学习跟以下两个目前比较流行的技术关联较深. Bert采用的自监督学习.Bert ...
张俊林：对比学习在微博内容表示的应用
点击下面卡片,关注我呀,每天给你送来AI技术干货! 分享嘉宾:张俊林博士新浪微博编辑整理:李桂荣中南财经政法大学出品平台:DataFunTalk 点这里:当知识图谱遇上预训练语言模型 -- 留 ...
php openvc人脸采集,Openvc 动态人脸识别对比学习（00４）
Openvc 动态人脸识别对比学习(004) 所属分类:软件工程开发工具:C# 文件大小:7617KB 下载次数:33 上传日期:2018-05-14 16:52:57 上传者:玉蛰说明: ...
对比学习 ——simsiam 代码解析。：
目录 1 : 事先准备 . 2 : 代码阅读. 2.1: 数据读取 2.2: 模型载入 3 训练过程: 4 测试过程: 5 :线性验证 6 : 用自己数据集进行对比学习. 第一: 改数据集 : 2 ...

超越GraphCL，GNN+对比学习的节点分类新SOTA