本文是对《Combining Label Propagation and Simple Models Out-performs Graph Neural Networks》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

文章目录

Title
总结
- 1 定义
- 2 基础预测
- 3 误差平滑
- 4 预测平滑

Title

《Combining Label Propagation and Simple Models Out-performs Graph Neural Networks》

——ICLR2021

Author: 黄倩

总结

有更为详细的他人笔记可参考：https://blog.csdn.net/qq_44015059/article/details/113689870

文章认为当前的GNN算法往往过于复杂，难以识别到底起作用的是哪些板块。因而提出了较为简单的结构，将忽略图结构的浅层模型与利用标签结构中相关性的两个简单后处理步骤相结合，称为C&S，并通过实验证明了其有效性，并推导出真正有效的是对节点标签的学习。这两个步骤分别为：（1）误差相关性，用于分散训练数据中的残留误差以更正测试数据中的误差；（2）预测相关性，使得测试数据中的预测更为平滑。如图所示：

1 定义

模型的输入为基本图结构，并附有节点特征，但值得注意的是，文章强调，在模型进行预测的过程中，并没有使用图结构，也就是前文提到的忽略图结构的浅层模型，仅用节点特征进行训练。在此，文章将数据集先划分为无标签的节点集U和有标签的节点集L，U作为测试集使用，而对L，再分为训练集的L_t和验证集的L_v。

在整个训练过程中，网络只在这些后处理步骤和和一个预处理步骤中使用，以增强特征，但不用于基础预测。

2 基础预测

文章给出了简单的标签预测损失函数：

f作为预测函数，要尽可能与真实标签结果相接近，因此优化目标就是最小化这一差值。而对于f的选择，可以是简单的线性模型，也可以是MLP模型。通过f的预测，就能够得到基础预测矩阵Z。

3 误差平滑

得到基础预测矩阵后，文章预计基础预测中的误差将随边缘正相关，即节点i上的误差会导致其邻域产生相似误差的机会增大，从而试图将这种误差传播到整个图上，这种灵感来自于残差传播。

因而，文章设定了误差矩阵E，其中误差在训练数据中为其残差，在其他数据中为零。

在训练数据中，只有当做出完美预测时，残差才为0。文章参考Learning with local and global consistency一文的方法，将这种误差进行传播：

最终，将基础预测结果与之相加，则有：

然而，对于直推式分类问题，平滑误差E可能不在正确的尺度上，有：

换言之，这种传播不能够完全纠正网络中的所有节点误差，因为没有足够的“总质量”。文章提出了两种缩放残差的方法，用来修正这一问题。

第一种，自动缩放。即将E^中的误差大小缩放到和E中的近似，文章利用训练节点的平均误差来近似这个尺度。

第二种，按比例固定扩散。这种方法会固定已知的误差，使我们知道错误（在标记的节点L上），而其他节点则不断求出其邻居的值的平均值，直到收敛为止。

4 预测平滑

通过误差平滑后的预测矩阵，要进一步做关于预测的平滑，这一动机是在网络中相邻节点往往具有相似的标签。在此，对整个网络而言，不同节点集上最优的预测结果如下：

对于已知真实标签的训练集，最优的预测结果就是完全挪用真实标签，而验证集则通过上述工作完成标签预测。而后，文章执行迭代过程进行平滑：

与误差平滑相同，预测平滑也是一个后处理步骤，与其他步骤是分离的。

文献阅读（40）ICLR2021-Combining Label Propagation and Simple Models Out-performs Graph Neural Networks相关推荐

COMBINING LABEL PROPAGATION AND SIMPLE MODELS OUT-PERFORMS GRAPH NEURAL NETWORKS（CorrectSmooth）阅读笔记
文章目录链接一.摘要二.引言三."修正和平滑"模型四.转导式节点分类实验四.总结总结红色部分为个人的一些解读,不足之处请多多指点! 链接论文题目:结合标签传播和简 ...
Combining Label Propagation and Simple Models OUT-PERFORMS Graph Networks
论文笔记：ICLR 2021 Combining Lable Propagation And Simple Models Out-Performs Graph Neural Network
前言: 本文的作者认为对于 GNN 的可解释性不足.基于此,作者在节点分类任务上提出可以通过将忽略图结构的浅层模型与两个利用标签结构中相关性的后处理方法相结合,超越或匹配最先进的 GNN .具体如下: ...
【阅读】A Comprehensive Survey on Distributed Training of Graph Neural Networks——翻译
转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn] (本文中,涉及到公式部分的翻译不准确,请看对应原文.) 另一篇:[阅读]Distributed Graph Neural Networ ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（7）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](7) Into the Weeds Other types of grap ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（3）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](3) What types of problems have graph ...
【推荐算法】Knowledge-aware Graph Neural Networks with Label Smoothness Regularization(KGNN-LS)论文笔记
题目:Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender System ...
【阅读】A Comprehensive Survey on Electronic Design Automation and Graph Neural Networks——EDA+GNN综述翻译
转载请注明出处:小锋学长生活大爆炸[xfxuezhang.blog.csdn.net] Paper原文:https://dl.acm.org/doi/pdf/10.1145/3543853 ...
《Bag of Tricks for Node Classification with Graph Neural Networks》阅读笔记
论文地址:Bag of Tricks for Node Classification with Graph Neural Networks 一.概述本文作者总结了前人关于图上半监督节点分类任务的常用 ...

文献阅读（40）ICLR2021-Combining Label Propagation and Simple Models Out-performs Graph Neural Networks