2021-ICDM-Hyper Meta-Path Contrastive Learning for Multi-Behavior Recommendation

摘要

现有的大多数工作都没有考虑用户不同行为之间的复杂依赖关系。他们利用简单固定的方案，如邻域信息聚合或向量的数学计算，融合不同用户行为的嵌入，以获得统一的嵌入来表示用户的行为模式，这些模式将用于下游推荐任务。
在本文中，作者首先提出了超元路径的概念来构造超元路径或超元图，以明确说明用户不同行为之间的依赖关系。如何从超元路径为用户获得统一的嵌入，同时避免前面提到的限制是至关重要的。

由于最近图对比学习的成功，作者利用它来自适应地学习用户行为模式的嵌入，而不是指定一个固定的方案来理解不同行为之间的依赖关系。

论文源码：

HMG-CR-PyTorch，作者发布

1 解决的问题

在异构图中存在很多的元路径，因此很难通过穷举搜索和或者学习选出最好的一个元路径；
解决了元路径不能建模元路径之间的交互的局限性。

2 论文思路/出发点

作者提出超元路径概念，用于区分不同用户面对不同类别的物品的不同行为模式。

通过结合一个用户的多个超元路径来构造多个超元图，不同的超元图反映了用户对不同产品的不同行为模式。
在构建的超元图之间进行图形对比学习，自适应地获得不同行为之间的复杂依赖关系以及代表不同行为模式的嵌入。

3 模型框架

3.1 超元路径与超元图

元路径

每个元路径从特定的语义角度捕获元路径上节点之间的特征，但是无法捕获多个元路径之间的交互信息。

超元路径

根据传统元路径的局限性以及超边和超图的优点，作者提出了超元路径的概念，以同时捕获元路径特征和它们之间的交互信息。

定义：一条超元路径是连接异构信息网络中两个终端节点的多个元路径模式的逻辑组合。

超元路径具有以下属性：

（1）它描述了具有相同终端节点的一类元路径之间的逻辑关系（例如，时间顺序、空间顺序和拓扑顺序）。

（2）具有相同起始节点的多个超元路径构成一个超元图。

图1 超元路径

如上所示，用户在购买手机之前，浏览两次，一共形成了三条元路径，没有表明用户是直接购买还是先浏览在购买；而右边用户和手机之间的超元路径按顺序整合了所有三种行为，这明确表明用户在最终购买行为之前仔细查看了手机两次。

3.2 生成超元图

3.3 图编码器

图编码器是整个框架的重要组成部分，因为它决定了框架能否从超元图中学习到用户行为模式的表征嵌入。

GNN模型是广泛使用的图编码器，例如GCN[和GAT。从技术上讲，只要提供足够的信息（例如，边缘类型和节点特征），任何GNN模型都可以在此框架中使用。

作者认为，此处不需要精细的GNN模型，因为已经构建了包含丰富语义信息(如几何信息、拓扑结构)的超元图。在实验中，作者应用基于几何或拓扑的GNN，如GIN和TAG，作为图编码器，理由是它们简单，有效。

3.4 超元图对比学习

这一部分涉及对比学习的内容，有些概念初涉比较难懂，如果仅为了解HMG-CR模型，可以忽略一些概念，只关注目标函数的设置，当然如此可能会无法理解这些目标函数的推导及由来。

对于每个用户，作者构建了|R| 个超元图，但是在同一个超元图中，可能存在多种行为模式，且这些不同的行为模式会因为基于同一个图编码器的学习而被融合。

以上面的例子来说，第一个超元图只含有购买，第二个超元图包含页面浏览和购买，因此含有两种行为模式：直接购买（包含在第一个超元图中）和页面浏览后购买，但是第二个超元图在同一个图编码器学习之后，两个不同的行为模式会被融合，而无法单独学习到页面浏览后购买的行为模式，这一点会影响推荐系统性能。

因此，作者为了从复杂性级联增加的超元图序列中提取到不同的行为模式，采用将当前超元图与前一个图对比学习的方式，获得两个相邻超元图的差异（如，不同的行为模式）。

作者提出利用超元图判别法来获得不同的行为模式，InfoNCE作为对比学习目标。InfoNCE的解读可以见知乎文章《Noise Contrastive Estimation 前世今生——从 NCE 到 InfoNCE》。

对于给定的两个相邻的超元图，如下，

3.5 用户的多行为模式融合

3.7 整体模型

经过前面几个部分的介绍，现在整体介绍一下HMG-CR模型，模型示例图如下，

图2 HMG-CR模型

构建元路径
整合元路径构建超元路径
超元路径输入图编码器，编码得到初步的行为模式嵌入
将初步的行为模式嵌入进行对比学习，得到每种单独的行为模式嵌入
将单独的行为模式嵌入融合，得到指定用户的统一行为模式嵌入，作为用户行为模式的表征，可用于下游推荐任务，自此HMG-CR模型已经结束，其后是简单的将HMG-CR模型应用于推荐任务的示例。
利用映射后的用户行为模式统一嵌入与物品的嵌入，进行向量积运算，得到最终推荐任务的分数

4 实验证明

4.1 数据集

TaoBao
Tmall

4.2 评价指标

Recall@k
NDCG@k

4.3 实验结果

图3 实验结果

5 总结

优点：

建立超元路径和超元图学习到用户复杂的行为模式

缺点：

虽然学习到了用户的行为模式，但是以此作为用户的特征嵌入是不够的，没有学习不同用户间的协同信息，换句话说，HMG-CR学习到了用户对于已经有过交互的不同物品采取的不同行为模式，但是没有学习到用户对更多的未交互物品的偏好，这一点需要利用用户之间的协同过滤信息。

参考

^Qiu J, Chen Q, Dong Y, et al. Gcc: Graph contrastive coding for graph neural network pre-training[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 1150-1160.