Label Smoothness Regularization

因为与传统的GNN不同，边的权重是可以学习的，而且在钱箱传播的过程中，还有w的参数需要学习。为了防止过拟合，而且由于边的权重的重要性，因此需要刚过的约束。作者在这里使用了Label Smoothness Regularization。具体的公示内容没有看懂。为了这个正则化和可学习的gnn网络，作者提出了一个独特的损失函数。

直观理解

每个实体/项目被视为粒子，而受监督的积极用户相关性信号充当从观察边界向上拉动观察到的正项目的力，并且负项目信号充当推动未观察到的项目的力。如果没有KG（图2a），这些项目只能通过协同过滤效果松散地相互连接（这里没有为了清晰起见）。相比之下，KG中的边缘充当橡皮筋，对连接的实体施加明确的约束。当层数为L = 1时（图2b），每个实体的表示是其自身及其直接邻居的混合，因此，对正项进行优化将同时将它们的直接邻居拉到一起。随着L的增加，KG的向上力更深（图2c），这有助于探索用户的远程兴趣并获得更多积极的项目。值得注意的是，KG所施加的邻近约束是个性化的，因为橡皮筋的强度（即su（r））是用户特定的和关系特定的：一个用户可能更喜欢关系r1（图2b）而另一个用户（具有相同的观察项目但不同的未观察项目）可能更喜欢关系r2（图2d）。
尽管KG中的边缘施加了力，但是边缘重量也可以设置不当，例如，太小而不能拉起未服务的物品（即橡皮筋太弱）。接下来，我们通过图2e显示标签平滑度假设如何帮助规范学习权重。假设我们在左上方拿出正样本，我们打算通过其余项目重现其标签。由于保持样本的真实相关性标签为1且右上样本具有最大标签值，因此LS正则化项R（A）将强制带有箭头的边缘变大，以便标签可以“流动” 蓝色的那个尽可能多的条纹。结果，这将收紧橡皮筋（用箭头表示）并鼓励模型更大程度地拉起两个上部粉红色物品。

Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems相关推荐

【推荐算法】Knowledge-aware Graph Neural Networks with Label Smoothness Regularization(KGNN-LS)论文笔记
题目:Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender System ...
KGNN-LS 2019 (KDD) Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Re
推荐中引入知识图谱的优点知识图谱作为一种异构网络,节点表示实体,诸如物品,产品,以及他们的属性,特征:边对应为实体之间的关系,知识图谱可以获取一系列实体之间的关系和结构信息.因此,知识图谱提供了不同 ...
【论文翻译_知识蒸馏】Distilling Holistic Knowledge with Graph Neural Networks
(以下的"提取"都可以替换为"蒸馏"),收录于ICCV2021 摘要知识提炼(KD)旨在将知识从一个更大的优化教师网络转移到一个更小的可学习学生网络.现有的知 ...
FreeKD：Free-direction Knowledge Distillation for Graph Neural Networks
标题:FreeKD:Free-direction Knowledge Distillation for Graph Neural Networks 1.什么是知识蒸馏? 1.1 什么是知识: we t ...
COMBINING LABEL PROPAGATION AND SIMPLE MODELS OUT-PERFORMS GRAPH NEURAL NETWORKS（CorrectSmooth）阅读笔记
文章目录链接一.摘要二.引言三."修正和平滑"模型四.转导式节点分类实验四.总结总结红色部分为个人的一些解读,不足之处请多多指点! 链接论文题目:结合标签传播和简 ...
Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings
摘要:在本文中,我们提出了一个端到端的图学习框架,即迭代深度图学习(IDGL),用于联合和迭代地学习图结构和图嵌入.IDGL的关键理论是基于更好的节点嵌入来学习更好的图结构,反之亦然(即基于更好的图结 ...
Paper：《Graph Neural Networks: A Review of Methods and Applications—图神经网络:方法与应用综述》翻译与解读
Paper:<Graph Neural Networks: A Review of Methods and Applications-图神经网络:方法与应用综述>翻译与解读目录 < ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
Re2：读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
诸神缄默不语-个人CSDN博文目录论文下载地址:https://openreview.net/attachment?id=rkeIIkHKvS&name=original_pdf 代码:yi ...

Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

Label Smoothness Regularization

直观理解

Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems相关推荐

最新文章

热门文章