文章信息

摘要

研究了一致性正则化，一种广泛采用的半监督学习方法，如何帮助提高图神经网络的性能。我们重新讨论了图神经网络的两种一致性正则化方法。一种是简单的一致性正则化(SCR)，另一种是平均-教师一致性正则化（MCR)。我们将一致性正则化方法与两种最先进的gnn结合起来，并在ogbn上进行了实验。

introduction

许多研究论文表明，在训练中使用带有少量标记数据的未标记数据可以提高模型的性能。由于图结构的特点，图的半监督学习一直是研究的热点。在训练阶段[20,25,32,34]中使用“伪标记”来利用未标记的节点，这可以看作是一致性正则化的一种特殊情况。其中，多阶段自我训练方法的表现最好。顾名思义，培训过程被分为几个阶段。在每个阶段的开始时，通过根据前一阶段的预测为未标记的节点分配伪标签来扩展训练集。该方法有效地利用了未标记节点的信息，从而获得了更好的性能。然而，多阶段的方法并不那么优雅，需要更多的训练时间。
采用了两种一致性正则化的方法。
其中一种方法被称为简单一致性正则化(SCR)，通过最小化扰动预测之间的不一致。扰动预测可以通过数据增强或模型的随机性来获得。
另一种方法被称为利用师生范式的平均-教师一致性正则化(MCR)。对于MCR，我们遵循平均教师[26]，我们通过计算学生和教师模型之间的一致性损失来指导模型的训练。教师模型的参数直接从学生模型的指数移动平均(EMA)权值推导出，没有额外的反向传播, 教师模型的参数将由学生模型进行更新

方法

1. 介绍GNN

本文从SAGN GAMLP出发

1.1 SAGN

邻接矩阵多次幂计算出不同层X，通过mpl 特征转化，attention对角矩阵来这个比SAGN 原文公式还要清楚

每层的对角阵：通过第一层和每层的表征学到一个权重attention，两个矩阵（query和key）的第i行分别乘一个参数向量得到一个数字attention，相加再非线性，学得后归一化，矩阵形式就是得到一个对角矩阵

1.2 GAMLP

和SAGN差不多，只是计算attention时候 key value不同，SAGN query都是0层，key是各k层单独的。GAMLP 提出了两种，一种是recursive attention 第k层的Zq= 前k-1层 embedding 相应的的attention之和。第二种是jk-attention，第k层的embedding是共K层embedding拼后加mlp得到的。每层的表征应该还是和第一层计算attention。

2. 损失：

分为监督的和无监督的，监督的是交叉熵，无监督的是采用伪标签在未标记节点上计算损失。

3. 本文提出的一致性正则

一致性正则化技术是在假设输入上的一个小的扰动不应该改变模型的输出的情况下发展起来的。这个想法的一个简单定义可以概括如下：（1）给定一个数据样本，基于该样本计算一组扰动预测；（2）最小化这些预测之间的分歧。扰动预测可以通过操纵输入（例如，数据增强）或向模型注入噪声（例如，退出）来获得。这个定义在MixMatch[3]和grand[9]中使用，我们称之为简单一致性正则化(SCR)

3.1

给定一个图

SCR-MCR：正则项， OGB榜单--清华唐杰-- 可扩展图学习相关推荐

19 个行业观点：李开复谈20年后 AI，崔宝秋论开源之道，清华唐杰提认知图谱三要素...
智源导读:12月16日,由科技媒体[量子位]主办的"MEET 2021智能未来大会"在北京召开,其中包括创新工场董事长兼CEO李开复.中国工程院院士谭建荣.小米公司副总裁崔宝秋.清 ...
清华唐杰团队：一文看懂NLP预训练模型前世今生
博雯发自凹非寺量子位报道 | 公众号 QbitAI 搞出了全球最大预训练模型的悟道团队,现在来手把手地教你怎么弄懂预训练这一概念了. 刚刚,清华唐杰教授联合悟道团队发布了一篇有关预训练模型的综 ...
就挺凡尔赛的！李开复谈20年后的AI，崔宝秋论开源之道，清华唐杰的PPT成了“香饽饽” | MEET2021智能未来大会...
编辑部发自凹非寺量子位报道 | 公众号 QbitAI 2020年,这个特殊的年份即将过去. 在这一年中,我们的生活遭受重创,但AI技术和应用仍在加速脚步. "重启.重塑.重构&qu ...
用c语言写出一个榜单程序,C语言依然位居榜单前列，依然值得程序员学习
原标题:C语言依然位居榜单前列,依然值得程序员学习关注.星标公众号,不错过精彩内容如今,市面上编程语言几百种,很多人觉得Python. JAVA这种语言比较火,是不是C语言就不行了呢? 殊不知,C ...
[论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
清华唐杰：GPT-3表示能力已经接近人类了，但它有一个阿喀琉斯之踵 | MEET 2021...
编辑部整理自 MEET 2021 量子位报道 | 公众号 QbitAI 人工智能,现在发展到什么阶段了? 从发展脉络上看,从符号智能.感知智能,现在应该到认知智能阶段了. 或者说,我们正走在认知智 ...
C语言依然位居榜单前列，依然值得程序员学习
关注.星标公众号,不错过精彩内容如今,市面上编程语言几百种,很多人觉得Python. JAVA这种语言比较火,是不是C语言就不行了呢? 殊不知,C语言依然是现在的主力军. 一.编程语言排行榜给大家 ...
清华唐杰：GPT-3表示能力已经接近人类了
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达编辑部整理自 MEET 2021 量子位报道 | 公众号 Qbi ...
清华唐杰：GPT-3表示能力已经接近人类了，但它有一个阿喀琉斯之踵
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货转载自:量子位人工智能,现在发展到什么阶段了? 从发展脉络上看,从符号智能.感知智能,现在应 ...

SCR-MCR：正则项， OGB榜单--清华唐杰-- 可扩展图学习

文章信息

摘要

introduction

方法

1. 介绍GNN

1.1 SAGN

1.2 GAMLP

2. 损失：

3. 本文提出的一致性正则

3.1

SCR-MCR：正则项， OGB榜单--清华唐杰-- 可扩展图学习相关推荐

最新文章

热门文章

SCR-MCR：正则项， OGB榜单--清华唐杰-- 可扩展图学习

文章信息

摘要

introduction

方法

1. 介绍GNN

1.1 SAGN

1.2 GAMLP

2. 损失：

3. 本文提出的 一致性正则

3.1

SCR-MCR：正则项， OGB榜单--清华唐杰-- 可扩展图学习相关推荐

最新文章

热门文章

3. 本文提出的一致性正则