NIRec:An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph——一种基于邻域的异构图推荐交互模型

异构信息网络G=(V,E)包括不同类型的对象和关系，每个对象属于一个特定的对象类型，每个关系属于一个特定的关系类型。比如说文献网络、社交媒体网络等。

文献信息网络是一种典型的异构信息网络，包含了四种不同类型的对象：作者(A)，论文§，会议期刊©，关键词(K)。有多种链接类型连接不同类型的对象，链接的类型由链接所连接的两种对象类型定义。例如：对于每一篇论文p∈P，有和作者、会议期刊、关键词、引用论文、被引用论文等之间的链接。下图为一个简单的文献信息网络示例，左边是会议（C），中间是论文（P），右边是作者（A）。

由于异构信息网络（HIN）能够表征复杂的图形，并且包含丰富的语义。近年来，HIN被广泛应用于推荐系统中。然而，现有的方法虽然提高了性能，但在实际应用中仍存在以下问题：
1.大多数现有的基于HIN的方法都是依赖于显式路径可达性来利用用户和项目之间基于路径的语义关联，但通常路径之间的连接是稀疏的或有噪声的，且具有不同的长度，因此这些方法很难实际应用和整合。（就是说知道各个节点的具体类型，而我们现在想要挖掘不可知类型的网络的非显示路径）
2.其他基于图的方法在预测前将节点及其邻域信息压缩为单个嵌入，以学习有效的异构网络表示，这种弱耦合建模方式忽略了节点之间丰富的交互信息。（将各种信息压缩在一起会丢失很多信息）
当前挑战：
1.传统基于图或元路径的模型通常在预测之前将节点及其邻居的信息压缩编码为单个嵌入向量，在浪费有用信息的同时可能会聚合到嘈杂的噪声，这就导致了early summarization问题；
2.一方面，基于图的方法只能抓取一阶信息，而不能有效利用二阶的邻居信息；
3.另一方面，基于路径的方法中，元路径中节点具有异质性，并且长度也不同，因此很难集成。

如何解决早期总结问题？由于图形的复杂结构和大规模，很难直接做出预测。因此，我们认为交互式的本地结构是有价值和有帮助的。
例如，如上图所示，一个系统正在基于一个HIN向一个用户推荐一个用户。当我们考虑userB这样的候选用户时，自然会考虑他们的相关电影和相关导演；也就是说，用户和用户之间可能存在关系，因为他们共享同一个电影。其实这是用户邻域之间“与”运算的一个例子。此外，很容易将此扩展到共同评级。换句话说，一个用户的邻居和另一个用户的邻居之间的共同评价表明了用户偏好的相似性，这可能有助于推荐。我们认为，这种交互式的局部结构是隐藏的，在以前的方法中没有得到充分利用。

如何设计一个端到端的框架来捕捉和聚合邻里之间的互动模式？最近的一次尝试侧重于通过连接源节点和目标节点的交互路径来测量语义接近度。然而，它忽略了隐藏在这些节点邻域中的丰富信息。HIN包含元路径反映的不同语义信息。此外，一条路径中通常涉及不同类型的各种节点。不同的路径/节点对最终性能的贡献可能不同。因此，除了强大的交互模块之外，还需要设计良好的聚合模块来区分这些路径/节点的细微差异，并选择一些信息丰富的路径/节点

如何高效地学习整个系统？在HINs上学习交互式信息总是很耗时；尤其是当面对基于元路径的方法的不同类型和长度的路径[13]和基于图的方法的大规模高阶信息[18]时。一种既高效又有效地学习HINs上丰富的交互式信息的方法总是被期望的。

本文提出了一个基于邻居的端到端推荐交互模型(NIRec)来解决上述问题。具体地说，文章首先分析了HINs中学习交互的意义，然后提出了一种新的基于节点元路径的邻域的形式来捕获每对节点之间的交互模式。
此外，为了探讨元数据间复杂的交互，并解决大规模网络上学习的复杂性问题，文中采用卷积的方式来提取交互信息，并使用快速傅里叶变换来有效地学习。
文中在四种不同类型的异构图上进行了大量的实验，结果证明NIRec与最新技术相比的性能有所提高。

本篇文章的主要贡献可以总结为以下三点：
（1）文中正式提出并解决了一个重要但很少被利用的问题——关于HIN的early summarization issue(传统的基于图或元路径的模型通常在预测之前将节点及其邻居的信息压缩编码为单个嵌入向量，在浪费有用信息的同时可能会聚合到嘈杂的噪声，这就导致了early summarization问题)。
（2）文中提出了一种新颖的基于邻域卷积的HINs推荐交互模型，名为NIRec，它能够捕获和聚合节点级和路径级的丰富交互模式。
（3）提出了一种结合快速傅里叶变换(FFT)的高效端到端学习算法。

定义一：基于邻域的交互增强推荐。基于HIN的推荐任务可以表示为一个元组⟨U，I，A，R⟩，其中U={u1,…,up}表示p用户的集合；I={i1,…,iq}表示q项的集合，a∈A表示与对象相关的属性，r∈R表示不同类型对象之间的交互行为。推荐的目的是预测两个对象，即源用户用户和目标项目之间的交互r(us,i)这里的交互可以解释为不同类型节点之间的偏好，即点击率或链接。在我们的设置中，利用源和目标邻居之间的交互来提高性能。（在此情况下，用户项评价历史、用户导演者偏好和电影导演者知识构成交互集r。在预测源用户界面和目标电影之间的交互r(uA,mC)时，我们考虑其邻域之间存在的交互，即r(mA,dC)、r(mB,uC)，以帮助最终推荐。）
定义二：元路径引导邻域。给定一个对象o和一个元路径ρ（从o开始），元路径引导邻域被定义为当对象o沿着给定的元路径ρ行走时所有访问对象的集合。

上图展示了异构信息网络和网络模式的一个例子：
图(a)表示这个例子的整体网络信息，如电影Ma基于UMD的2跳的邻居有：{(uA,mA,dA), (uA,mA,dC), (uA,mB,dB)}；图(b)表示网络的具体模式，其中实线表示三种节点(user, movie, director)的两种关系/交互(user-movie, movie-director)，虚线表示潜在交互(user-director)；图©描述了该网络的两种不同的元路径，如User-Movie (UM)和User-Movie-Director(UMD)。

综述
我们将同构图的邻域定义扩展到异构图的元引导邻域。接下来，我们设计了一个包含两个模块的异构图神经网络体系结构来聚合前一步采样邻居的特征信息。第一个模块，即交互模块，构建交互邻域，捕获“和”操作之间的潜在信息。第二个模块，即聚合模块，主要由两部分组成:(i)测量元引导邻域内不同节点影响的节点级注意机制和(ii)聚合不同邻域内容嵌入的路径级注意机制。最后，我们以卷积的方式表示交互，并使用快速傅里叶变换(FFT)有效地学习。

NIRec的总体架构如上图所示，主要包含(a)基于元路径的邻居选择（邻域），即从某一源节点出发，按照元路径搜索其邻居节点；(b)交互信息提取层，使用交互卷积操作获取节点之间的潜在交互信息；©信息聚合层，利用注意力机制将提取的节点级和路径级的特征信息进行聚合。

社区抽样
文章提出使用元路径引导的随机游走方法，给定HIN G={V,E}和一个元区间A0,…,Ai-1,其中Ai表示元区间引导的第i个结点，行走路径的分布如下，其中nk是遍历中的第k个结点，N1p(v)表示v结点引导的元路径映射的一阶邻居集：

交互模块
在以前的基于HIN的建议中，大多数方法都利用图表示技术来查找关键节点或元节点并捕获复杂结构。文章提出了一个基于元路径引导领域的交互模块，这样可以进一步挖掘交互信息和处理早期摘要问题；

由于这些节点具有异构性，所以具有不同的特征空间。因此，对于每种类型的节点，文章设计了特定类型的转换矩阵Mϕ，将不同类型节点的特征投影到统一的特征空间中。过程如下，其中ei和ei’分别是节点i的原始特征和投影特征：

基于元路径进行邻居采样，即从某一源节点出发，按照元路径搜索其邻居节点。考虑到距离源/目标节点不同距离的邻居对最终预测的贡献不同，将采样的邻居划分为若干个内邻居组和外邻居组。最终通过这种方式我们可以得到2l-1组邻居，其中l表示元路径长度。

在交互模块，每组邻居进行“and”操作（也就是相乘）来捕捉内部的潜在信息。这种重复平移、相乘的操作，然后到达所有节点重叠的情况，其实就是信号处理里面的卷积。因此，以卷积的方式来描述交互作用，并使用快速傅立叶变换（FFT）有效地学习。
设H[Nρ(o)]表示目标o的元路径ρ引导邻域的嵌入矩阵，其表达式为:

其中l表示第l个元路径，eρi表示在一个元路径的第i步中嵌入节点，⊕表示堆栈操作，i表示元路径长度。图中所示的路径数是m（m）的平均数。于卷积运算，我们进一步定义源对象和目标对象邻域之间的交互作用为(其中⊙为卷积操作):

通过以上分析可以看出，该结构不仅能够捕获分组邻域内的节点相似度和共同评级，而且实现效率很高。

聚合模块

聚合模块主要由两个部分组成：
1.节点注意力机制：节点注意力机制用于度量元路径引导的邻居内不同节点的影响，其实这就是抓取哪些关系权重更大的过程，权重越大意味着联系更紧密、更重要。可以在图中看到交互矩阵H[Nρ]=H[Nρ(s),Nρ(t)]中的元素包含各种类型节点之间的相互作用。因此，在聚合过程中，很自然地捕捉到元素/节点级的关键交互。
2.路径注意力机制：不同的任务和图中，不同元路径（语义）的信息的重要程度可能不同。HIN上的每个对象o都包含多种语义信息，用不同的元路径ρ0,ρ1,…,ρp-1,表示，这又进一步影响了相互作用矩阵H[Nρ0]，H[Nρ1]，…，H[Nρp-1]，为了捕获复杂图中的关键信息，我们需要融合不同元标记(即路径/矩阵级)所揭示的多种语义。
注意力机制(Attention)仍然理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息，这种思路仍然成立。

模型分析
复杂性：效率较高，易于并行化，……
可解释性：该模型对于通过相邻节点间的相似性和协同评分对嵌入学习交互具有潜在的良好解释能力。

实验
AUC：area under ROC curve，其中ROC曲线是Receiver Operating Characteristic Curve，中文名字叫“受试者工作特征曲线”，将“假正例率”和“真正例率”为横轴和纵轴得到的曲线，AUC即为曲线与两轴所围面积，取值范围在0.5~1之间，是衡量学习器优劣的一种性能指标，值越高越好。
ACC：推荐精确度

TP(真正例)：预测为正例中对的个数；TN(真反例)：预测为反例中对的个数；
此方法使用了六种基线方法，其中包含了异质性和属性化的图嵌入模型，如HAN、HetGNN和IPE，以及推荐模型，如NeuMF、LGRec和MCRec。值得注意的是，HAN、HetGNN、IPE和MCRec是最近提出的最先进的模型。

表中模型和基线方法在四个数据集上的比较结果，NIRec在点击预测任务CTR上是有效的，它采用了一种有效的方式来利用交互信息来提高推荐性能。大多数基于元的方法(HAN,MCRec,IPE)在大多数情况下优于基于图形或基于特征的方法(HetGNN, NeuMF)。一种直观的解释是，这些基于元数据的方法可以更好地捕获HINs上丰富的高阶结构信息。
最近提出的方法MCRec和IPE比其他方法获得更好的性能。很容易注意到，它们都试图捕获路径之间的上下文信息或交互模式。一个可能的原因是在路径上简单地聚合语义消息可能会丢失一些关键信息。
NIRec不仅捕获交互信息，而且具有潜在的良好可解释性。
为了研究每个组件对最终推荐性能的贡献，我们设计了NIRec的两个变体NIRecCNN和NIRecGCN，分别研究交互模块和聚合模块。(NIRec > NIRecCNN)表明我们的卷积交互策略比简单地使用CNN层更能捕捉交互信息(即同一类型节点之间的相似性和不同类型节点之间的评级)。同时，(NIRec > NIRecGCN)表明，注意机制能够更好地利用基于元信息的交互信息。

总结
在本文中，我们引入了“早期总结”的问题，并提出了一个基于社区的交互增强推荐模型，即NIRec来解决这个问题。首先引入元引导邻域的定义，以保持HINs上的异质性。然后，我们精心设计了一个交互模块，通过每个源节点和目标节点对的邻域来获取它们的相似度。为了融合丰富的语义信息，我们分别提出了节点级注意机制和路径级注意机制来捕获关键交互和元信息。大量的实验结果证明了该模型在推荐有效性和可解释性方面的优越性。

NIRec:An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph相关推荐

【翻译】Feeding a physically based shading model
Feeding a physically based shading model 怎么满足基于物理的渲染(PBR)模型 Sebastien Lagarde August 17, 2011 译者注:本文 ...
2018_IJCAI_DELF: a dual-embedding based deep latent factor model for recommendation
[论文阅读笔记]2018_IJCAI_a dual-embedding based deep latent factor model for recommendation-(IJCAI, 2018.0 ...
读论文《Recurrent neural network based language model 》
读论文<Recurrent neural network based language model > 标签(空格分隔): 论文 introduce 本文将循环神经网络RNN引入了神经网络 ...
GIKT: A Graph-based Interaction Model for Knowledge Tracing
GIKT: A Graph-based Interaction Model for Knowledge Tracing 主要内容 GIKT: A Graph-based Interaction Mod ...
Adopting a physically based shading model
原文:https://seblagarde.wordpress.com/2011/08/17/hello-world/ With permission of my company : Dontnod ...
3-论文笔记--《Privacy-preserving and Efficient Aggregation based on Blockchain for Power Grid...》
题目 <Privacy-preserving and Efficient Aggregation based on Blockchain for Power Grid ...
《NAIS: Neural Attentive Item Similarity Model for Recommendation》论文阅读及解析
<NAIS: Neural Attentive Item Similarity Model for Recommendation>论文阅读及解析论文翻译 NAIS模型论文解析 NAIS模 ...
DDR: efficient computational method to predict drug–target interactions using graph mining and machi
DDR: efficient computational method to predict drug–target interactions using graph mining and machi ...
A Heterogeneous Graph Neural Model for Cold-start Recommendation(SIGIR20)
原文链接 A Heterogeneous Graph Neural Model for Cold-start Recommendation | Proceedings of the 43rd Inte ...

NIRec:An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph——一种基于邻域的异构图推荐交互模型

NIRec:An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph相关推荐

最新文章

热门文章