LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation 论文笔记

1.简介
- 1.1 背景介绍
- 1.2 摘要
- 1.3 主要贡献
2. 准备工作
- 2.1 NGCF
- 2.2 对NGCF的实证探索
3. LightGCN模型
- 3.1 Light Graph Convolution (LGC)
- 3.2 层组合和模型预测
- 3.3 矩阵表示
4. 实验
- 4.1 比较方法
- 4.2 和NGCF的性能比较
- 4.3 消融和有效性分析
- - 4.3.1 层组合的影响
  - 4.3.2 对称开方归一化的影响

1.简介

1.1 背景介绍

图卷积网络中的最常见的设计，特征变换和非线性激活函数，对协同过滤的效果贡献很小。更糟糕的是，二者会增加训练难度，损害推荐效果。

1.2 摘要

本文提出了一个新的模型LightGCN，去除了GCN中两种最常见的设计——特征转换和非线性激活，只包含GCN中最重要的组件——邻域聚合（用于协同过滤）。

1.3 主要贡献

• 在GCN中特征变换和非线性激活这两种常见的设计对CF协同过滤的有效性并没有积极的影响。
• 提出LightGCN，它只包含了GCN推荐模型中最基本的组件，从而在很大程度上简化了模型设计。
• 根据同样的设置对LightGCN和NGCF进行了实证比较，并展示了显著的改进。从技术和经验的角度对LightGCN的合理性进行了深入的分析。

2. 准备工作

2.1 NGCF

2.2 对NGCF的实证探索

同时去除特征变换和非线性激活后的NGCF-fn，模型有了很大的改进

3. LightGCN模型

总体思路是：
(1) 先将用户和项目节点的领域聚合
(2) 使用三层卷积层分别生成每层的嵌入（3.1）
(3) 将节点的原始输入与生成每层新的嵌入做一个加权和（3.2）
(4) 将用户和项目最终的生成节点表示做内积生成预测的分数（3.2）

3.1 Light Graph Convolution (LGC)

放弃了特征变换和非线性激活，LightGCN中图形卷积运算就简化为：

特别需要注意的是，邻域聚合并没有用到自连接，作者在原文3.2.1与SCGN的对比中证明了：在最终将每层嵌入组合到一起时，起到了自连接的效果。

3.2 层组合和模型预测

LightGCN需要的参数并不多，仅仅是0层的嵌入，即eu(0)e_u^{(0)}eu(0)和ei(0)e_i^{(0)}ei(0)。
（多层情况）经过K层LGC之后，我们进一步结合在每一层得到的嵌入，形成一个用户(一个项目)的最终表示:

αk=1k+1\alpha_k=\frac{1}{k+1}αk=k+11时效果最好。
最终的模型预测形式，内积形式如下：
yui^=euTei(5)\hat{y_{ui}}=e_u^Te_i\qquad(5)yui^=euTei(5)

3.3 矩阵表示

令用户-项目交互矩阵R∈RM×NR\in R^{M\times N}R∈RM×N,其中M和N分别表示用户数量和项目数量，如果uuu与iii交互，则RuiR_{ui}Rui 为1，否则为0。然后得到用户-项图的邻接矩阵为:

则可以得到LGC的矩阵等价形式为:

最后，我们得到最终用于模型预测的嵌入矩阵为:

4. 实验

4.1 比较方法

与之竞争的主要方法是NGCF，它已经证明比其他几种方法表现更好。在NGCF的基础上，我们进一步对比了两种相关且具有竞争力的CF方法:
Mult-VAE [28]
GRMF [30]

4.2 和NGCF的性能比较

我们与NGCF进行了详细的比较，在表中记录了不同层(1到4层)的性能，还显示了每个指标相对改进的百分比。在图中，我们进一步绘制了训练损失和测试recall的训练曲线。

4.3 消融和有效性分析

对LightGCN进行消融研究，展示了层组合和对称开根归一化如何影响LightGCN的性能。

4.3.1 层组合的影响

以LightGCN-single为例，我们发现当层数从1增加到4时，它的性能先提高后降低。
以LightGCN为例，我们发现它的性能是随着层数的增加而逐渐提高的。即使使用4层，LightGCN的性能没有降低。

4.3.2 对称开方归一化的影响

最好的设置是在两边都使用sqrt标准化，去掉任何一边都会大大降低性能。
第二好的设置是仅在左侧使用L1规范化(即LightGCN-L1-L)。