【论文翻译】Multi-modal Knowledge Graphs for Recommender Systems

ABSTRACT

推荐系统在解决信息爆炸问题和提高各种在线应用的用户体验方面显示出巨大潜力。为了解决推荐系统中的数据稀少和冷启动问题，研究人员通过利用有价值的外部知识作为辅助信息，提出了基于知识图（KGs）的推荐。
然而，这些工作大多忽略了多模式知识图（MMKGs）中的各种数据类型（如文本和图像）。
在本文中，我们提出了多模态知识图注意网络（MKGAT），通过利用多模态知识更好地增强推荐系统。
具体来说，我们提出了一种多模态图关注技术，在MMKGs上进行信息传播，然后使用所得到的聚合嵌入表示进行推荐。据我们所知，这是第一个将多模态知识图纳入推荐系统的工作。我们在两个不同领域的真实数据集上进行了广泛的实验，其结果表明我们的模型MKGAT可以成功地采用MMKGs来提高推荐系统的质量。

知识表示学习的前提是表示学习，那么何为表示学习？就是把图像、文本、语音等的语义信息表示为低维稠密的实体向量，即Embedding。Embedding是大家都熟知的，自从13年出现的word2vec，Embedding成为NLP任务的标配。
那么知识表示学习呢？改变了对象，即将知识库中的实体和关系表示为低维稠密的实体向量。
那么知识图谱中的知识都是什么？我们熟知知识图谱是由实体和关系组成，通常采用三元组的形式表示，【head(头实体)，relation(实体的关系)，tail(尾实体)】，简写为(h，r，t)。

1 Introduction

最近，知识图谱（KGs）因其全面的辅助数据而被广泛应用于推荐系统中（即基于KG的推荐）[24, 28]。具体来说，基于KG的推荐通过引入高质量的侧面信息（KGs），缓解了用户-项目互动的稀疏问题和冷启动问题。这些问题经常出现在基于协作过滤（CF）[11]的方法中。
然而，现有的基于KG的推荐方法在很大程度上忽略了多模态信息，如物品的图像和文字描述。这些视觉或文本特征可能在推荐系统中发挥重要作用。
例如，在观看一部电影之前，用户往往会观看预告片或阅读一些相关的电影评论。当去餐厅吃饭时，用户通常会先在一些网络平台上浏览菜肴的图片或餐厅的评论，如Yelp或大众点评。
因此，有必要将这些多模态信息引入知识图谱。这样做的好处是，多模态知识图谱（MKGs）将视觉或文本信息引入知识图谱，将图像或文本作为实体或实体的属性。这是一种更普遍的获取外部多模态知识的方式，不需要给视觉或文本信息专门定义。图1中显示了一个简单的MKGs的例子。

知识图谱的学习对基于KG的推荐起着关键作用。基于KG的推荐模型通常使用知识图谱表示模型来学习KG实体的embedding，然后将其输入下游的推荐任务。多模式的知识图表示学习有两种类型：基于特征的方法和基于实体的方法。
基于特征的方法[17, 30]将模态信息作为实体的一个辅助特征。它通过考虑视觉表征来扩展翻译模型（TransE）[2]，视觉表征是从知识图谱实体对应的图像中提取的。
一个三联体的能量（例如TransE中三联体的评分函数）是根据KG的结构以及实体的视觉表示来定义的。
然而，基于特征的方法对知识图谱的数据源提出了相对的要求，因为它要求知识图谱中的每个实体都有多模态的信息。
为了解决对KGs数据源的严格要求，我们推荐采用基于实体的方法[19]。
基于实体的方法将不同类型的信息（如文本和图像）视为结构化知识的关系三要素，而不是辅助特征，即知识图谱的第一等公民。
它通过考虑新的关系，如ℎ