什么是优秀的图表示?斯坦福提出首个信息论原则——图信息瓶颈
点击上方“AI遇见机器学习”,选择“星标”公众号
重磅干货,第一时间送达
来源:机器之心
对于图结构数据而言,什么是「优秀」的表示?斯坦福研究者对此进行了重新思考,并提出学习稳健图表示的信息论原则——图信息瓶颈 (GIB)。研究者基于该原则构建了两个 GNN 模型:GIB-Cat 和 GIB-Bern,二者在抵御对抗攻击时取得了优异的性能。
图表示学习旨在基于图结构数据学习表示,并用于节点分类、链路预测等下游任务。由于节点特征和图结构包含重要信息,因此图表示学习任务具备一定的挑战性。图神经网络(GNN)融合了来自节点特征和图结构的信息,因而具备优秀的性能。
近期,很多研究开始关注如何开发更强大的 GNN,使之拟合更复杂的图结构数据。然而,目前 GNN 仍然面临一些问题。例如,邻近节点的特征包括一些无用信息,可能对当前节点的预测产生负面影响。此外,GNN 依赖于通过图的边进行消息传递,这使它容易遭受针对图结构的噪声和对抗攻击。
近日,来自斯坦福大学的研究者希望解决以上问题,并重新思考:对于图结构数据而言,什么是「优秀」的表示?具体而言,信息瓶颈 (IB) 为表示学习提供了核心原则:最优表示应包含适合下游预测任务的最少充足信息。IB 鼓励表示最大程度地包含与目标相关的信息,以使预测结果尽可能准确(充足)。另一方面,IB 遏制表示从数据中获取与预测目标无关的额外信息(最少)。基于这一学习范式学得的模型自然而然可以避免过拟合,并对对抗攻击具备稳健性。
论文地址:https://arxiv.org/pdf/2010.12811.pdf
项目地址:http://snap.stanford.edu/gib/
GitHub 地址:https://github.com/snap-stanford/gib
然而,将 IB 原则扩展到图表示学习的过程面临着以下两个独特的挑战:
首先,之前利用 IB 的模型假设数据集中的训练样本是独立同分布的 (i.i.d.)。对于图结构数据而言,该假设不成立,因此按照 IB 原则训练模型较为困难;
此外,结构信息对于表示图结构数据是必不可少的,但此类信息比较分散,因而很难进行优化。如何恰当地建模和从图结构中提取最少充足信息带来了另一项挑战。
解决办法:图信息瓶颈 (GIB)
该研究基于 IB 提出了一种信息论原则——图信息瓶颈 (Graph Information Bottleneck, GIB),专门为图结构数据的表示学习打造。GIB 从图结构和节点特征中提取信息,并鼓励学得表示中的信息满足最少和充分两个原则(参见下图 1)。
为了克服非独立同分布数据带来的挑战,研究者利用图结构数据的局部依赖假设来定义最优 P(Z|D) 的搜索空间 Ω,其遵循马尔可夫链层级化地从特征和图结构中提取信息。研究者表示,这项研究为基于图结构数据的监督式表示学习提供了首个信息论原则。
图 2:GIB 原则利用局部依赖假设。
并得到:
研究者还为 GIB 扩展了变分上下界,使其更适合 GNN 的设计与优化。具体而言,该研究提出变分上界,用于约束从节点特征和图结构提取的信息;并用变分下界来最大化表示中的信息,以预测目标。
研究者将 GIB 原则应用于图注意力网络 (GAT),利用 GAT 的注意力权重采样图结构,从而缓解优化和建模离散图结构的难度。研究者还分别基于类别分布和伯努利分布设计了两个采样算法,提出两个模型 GIB-Cat 和 GIB-Bern。GIB-Cat 和 GIB-Bern 算法参见 Algorithm 2 和 Algorithm 3,Algorithm 1 则展示了这两种算法的基础框架。
GIB-Cat 和 GIB-Bern 算法。
GIB-Cat 和 GIB-Bern 算法的基础框架。
实验表明,这两个模型可以提升标准基线模型的稳健性,性能超过其他 SOTA 防御模型。GIB-Cat 和 GIB-Bern 将对抗扰动情况下的分类准确率分别提升了 31.3% 和 34.0%。
实验
对抗攻击
研究者对比了不同模型对对抗攻击的稳健性,实验结果参见下表 1。
从中可以看出,GIB-Cat 在 Cora 和 Pubmed 上的分类准确率相比 GAT 分别平均提高了 8.9% 和 14.4%,GIB-Bern 提高了 8.4% 和 14.6%,这表明 GIB 原则可以有效提升 GNN 的稳健性。值得注意的是,当扰动数值为 1 时,GIB-Cat 和 GIB-Bern 在 Pubmed 上的分类准确率相比 GAT 分别提升了 31.3% 和 34.0%。
特征攻击
为了进一步确认 IB 对节点特征的有效性,研究者向节点特征引入随机扰动。实验结果参见下表 3:
从中可以看到,在不同特征噪声比率情况下,GIB-Cat 和 GIB-Bern 持续优于不使用 IB 的其他模型,尤其是当特征噪声比率较大 (λ = 1.5) 时,仅具备结构 IB 的 AIB 模型性能稍逊于或等同于 GIB 模型。这表明,当特征攻击成为扰动主要来源时,GIB 可使模型具备更强的稳健性。
欢迎关注我们,看通俗干货!
什么是优秀的图表示?斯坦福提出首个信息论原则——图信息瓶颈相关推荐
- AAAI 2021 | 上海交大提出基于有监督解耦的信息瓶颈算法
作者|潘子琦 单位|上交BCMI实验室 来源|机器之心 现有的有监督解耦方法,比如把中间表征解耦成种类相关的表征和种类无关的表征,大多基于交换生成的经验性框架,缺乏理论指导,无法保证种类相关表征中不包 ...
- CVPR 2020 oral:亮风台提出完全可训练的图匹配方法
本文为亮风台公司投稿. 6月14日-19日,CVPR 2020在线上举行,据了解,本届大会共收到6656篇投稿,接收论文1470篇,录用率约22%,低于ICCV 2019论文录用率(25%),为十年以 ...
- CVPR 2020 | 北大Futurewei提出 GraphTER:无监督图变换共变表征学习
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :机器之心 计算机视觉与模式 ...
- 用计算机画函数图象,信息技术应用 用计算机画函数图象优秀公开课教案
黎义祥 地区: 湖北省 - 天门市 - 学校:天门市皂市镇五华山中学 共1课时 信息技术应用 用计算机画函数图象">信息技术应用 用计算机- 初中数学 人教2011课标版 ...
- 2.4 设计评选优秀教师和学生的程序,其类结构如图 12.5 所示。当输入一系列教师 或学生的记录后,将优秀学生及教师的姓名列出来。 图 12.5 类结构 类 base char name[8]; 含
#define _CRT_SECURE_NO_WARNINGS /* 12.4 设计评选优秀教师和学生的程序,其类结构如图 12.5 所示.当输入一系列教师 或学生的记录后,将优秀学生及教师的姓名列出 ...
- 如何用计算机描绘函数的图象,信息技术应用 用计算机画函数图象课件配套优秀获奖教案...
郭新妍 地区: 广东省 - 广州市 - 越秀区 学校:广州市五羊中学 共1课时 信息技术应用 用计算机画函数图象">信息技术应用 用计算机- 初中数学 人教2011课标版 ...
- CVPR 2022|精准高效估计多人3D姿态,美图北航联合提出分布感知式单阶段模型...
来源丨AI科技评论 编辑丨极市平台 近日,计算机视觉顶会CVPR 2022公布了会议录取结果,美图影像研究院(MT Lab)与北京航空航天大学可乐实验室(CoLab)联合发表的论文被接收. 该论文突破 ...
- UTA研究团队提出首个3D点云+GAN新方法,让机器人“眼神”更犀利 | AI日报
韩国NAVER AI LAB重新标注128万张ImageNet图片:多标签,全面提升模型性能 ImageNet是机器学习社区最流行的图像分类基准数据集,包含超过1400张标注图像.该数据集由斯坦福教授 ...
- Euler 今日问世!国内首个工业级的图深度学习开源框架,阿里妈妈造
千呼万唤始出来!阿里妈妈正式公布重磅开源项目--图深度学习框架Euler.这是国内首个在核心业务大规模应用后开源的图深度学习框架.此次开源,Euler内置了大量的算法供用户直接使用,相关代码已经可在G ...
最新文章
- 聊聊sentinel的SystemSlot
- 如何有效地进行项目管理,提升团队协同办公效率?
- DDoS***如此猖獗,我们该如何解决?
- target和currentTarget
- 数据中心市场的投资风险与回报
- Android简单调用相机Camera功能,实现打开照相功能
- ansible--- tags
- HttpHelper使用记录
- ceb转pdf linux,基于zynq的Linux根文件系统生成
- TextStyleOpts:文字样式配置项
- 计算机专业毕业设计流程,计算机专业毕业设计答辩流程
- Javascript匿名类
- PPP协议身份验证PAP和CHAP
- 你以为Shell只是命令行?读懂这篇文,给你的工作赋能
- VMware 15安装教程
- 如何制作视频画中画?制作画中画视频的方法
- windows 10 电脑 应用图标变白色恢复方法
- mr.Xiong使用jQuery实现电影排行榜的效果
- 使用自定义字体升级您的 SwiftUI 应用程序教程,如何在 SwiftUI 中添加自定义字体
- dlib库 眨眼 张嘴