Research Commentary on Recommendations with Side Information: A Survey and Research Directions

1 INTRODUCTION
2 EVOLUTION OF RECOMMENDERS WITH SIDE INFORMATION
- 2.1 Overview of recommender systems
- 2.2 Evolution of fundamental methodologies for recommendation
- 2.3 Evolution of side information for recommendation
3 CONVENTIONAL MODELS WITH SIDE INFORMATION
- 3.1 Memory-based methods with side information
- 3.2 Latent factor models with side information
- 3.3 Representation learning models with side informatio
4 DEEP LEARNING MODELS WITH SIDE INFORMATION
- 4.1 Basic deep learning models
- 4.2 Deep learning models with flat features (DLMs+FFs)
- 4.3 Deep learning models with network features (DLMs+NFs)
- 4.4 Deep learning models with feature hierarchies (DLMs+FHs)
- 4.5 Deep learning models with knowledge graphs (DLMs+KGs)
- 4.6 Deep learning models with text features (DLMs+TFs)
- 4.7 Deep learning models with image features (DLMs+IFs)
- 4.9 Discussion of DLMs with side information
5 FUTURE DIRECTIONS
- Deep recommenders with structured side information
- Crowdsourcing side information for recommendation.
- Side information for reinforcement & adversarial recommendation.
- Side information for cross-domain & package recommendation.

传统的推荐有数据稀疏性和冷启动问题，为了解决这些问题，很多算法使用了用户或物品的边信息（辅助信息）。我们从两个正交的角度概述了具有侧信息的最先进的推荐算法：

不同的推荐方法：基于记忆的方法、潜在因素、表征学习和深度学习模型
涵盖了便信息的不同表示：
- 结构数据（平面、网络和层次特征以及知识图）
- 非结构数据（文本、图像和视频特征）

1 INTRODUCTION

很多附加信息利用起来。例如由于社交网络的出现，出现了许多信任感知推荐算法，基于用户与可信朋友共享类似偏好的假设。
基于深度学习的推荐方法，凭借优越的可伸缩性和灵活性，以适应任意的侧信息。

2 EVOLUTION OF RECOMMENDERS WITH SIDE INFORMATION

2.1 Overview of recommender systems

按任务分类：

General recommendation
Temporal recommendation 关键是对表现出显著（短期或长期）时间漂移的用户偏好的动态进行建模
Sequential recommendation (or next-item recommendation) 顺序推荐试图在连续项之间建模顺序模式，并为用户生成及时的建议。

按输出分类：基于评级和排名的项目推荐任务

2.2 Evolution of fundamental methodologies for recommendation

两种基于CF的方法被广泛研究：

Memory-based approaches.基于内存或基于领域。面向用户的方法：预测目标用户的评分，基于系统中类似用户的评分。面向物品的方法，反之。
Model-based approaches. 在用户项评级矩阵上采用数据挖掘或机器学习技术来揭示复杂的用户行为模式。侧信息可以作为额外的有价值的特征，被输入到预测模型中。
- Latent factor models (LFMs)
- Representation learning models (RLMs) RLMs最初是受词嵌入技术的启发
- Deep learning models (DLMs) ，DLM(例如Auto Rec，NCF，DMF)。可以通过各种类型的激活函数学习非线性潜在表示。

本质上，LFMs（例如矩阵分解）和RLMS(例如item2vec)都可以被认为是DLMS的特例，即浅层神经网络。

虽然DLM相对于其他基于模型的推荐方法取得了优越的性能，但如何有效地将不同的侧信息纳入DLM的研究还没有达到它的全部潜力。相反，近几十年来，这些研究问题在LFMS和RLMS中得到了很好的研究，可以给DLM利用附加信息一些启发。
与DLMS相比，DLMS涉及更多的计算成本，但通常只实现较小的性能增量，传统的基于模型的方法(例如LFM和RLMS)具有潜力发展成，产生出更好的推荐准确性。

2.3 Evolution of side information for recommendation

社交网络这种侧信息可以用来估计用户的偏好，即使用户项历史交互数据不足。
其他方面的信息（例如项目标签或类别）可以直接用于理解用户的兴趣

本文按照结构对附加信息进行分类：

structural data
- Flat features (FFs). 其中特征是在同一层独立组织的，这种侧面信息被广泛地用于更好的电影或音乐推荐。
- Network features (NFs).信任感知推荐系统直觉是，社交朋友可能有相似的偏好，并通过推荐物品相互影响。
- Feature hierarchies (FHs) 一组特征及其关联关系。
- Knowledge graphs (KGs) KGS将与用户（例如人口统计和社交网络)或物品(例如电影的类型、导演和演员）有关的各种类型的特性连接在一个统一的表示空间中。
Non-structural data

对于结构化数据，有必要制定更先进的基本方法，以有效地容纳这些信息。对于结构化数据，我们需要利用深度学习的优势来帮助提取隐藏的特征。

3 CONVENTIONAL MODELS WITH SIDE INFORMATION

基于内存的方法，潜在因素模型，以及表示学习模型。

3.1 Memory-based methods with side information

由于在用户或项目空间中进行耗时的搜索，在大规模数据集中被广泛认为比基于模型的数据集更不有效。

3.2 Latent factor models with side information

最先进的推荐方法主要由潜在因子模型(LFMs)主导。

LFMs+FFs. 合并平面特征(FFS)，以帮助学习更好的用户和项目潜在表示。大致基于四种：CMF、SVDFeature、TensorF、FM。
LFMs+NFs. 基于CMF，联合分解用户-项目交互矩阵和用户-用户信任矩阵。基于SVDFeature，假设用户的表示将受到他信任的朋友的表示的影响。基于Regularization，约束用户与她信任的朋友之间嵌入的距离。
LFMs+KGs. 通过简化实体类型和关系类型，可以将复杂的KGS降级为其他简单的结构侧信息，如FFS和NFS。
LFMs+TFs. 提取文本特征中编码的有用信息，如评论、提示、注释、内容和描述。
与基于内存的方法相比，LFM具有较高的可伸缩性和灵活性
大多数具有侧信息的LFM都是从通用的基于特征的方法扩展的
一般来说，越复杂的侧信息已经被纳入，就可以实现更高质量的建议
在这种复杂数据中编码的信息不能被LFM直接利用

3.3 Representation learning models with side informatio

Barkan and Koenigstein（2016）首先设计了一种用于协作过滤的神经项嵌入模型(Item2Vec)，它能够推断物品与物品之间的关系。注意，原始的Item2Vec不能建模用户偏好，只能通过学习物品的表示。
MetaProd2Vec, 利用项目类别来帮助规范项目嵌入的学习。（正则化）

基本RLMS(Item2Vec)的目标函数实际上是一个Softmax层，或者作为许多深度学习模型的输出层。从这个角度来看，RLMS可以被认为是从浅层到深层神经网络的转变。
第三，基本的RLMS(Item2Vec)不太考虑个性化，应该进一步扩展以适应用户的偏好。
第四，大多数具有侧信息的RLMS侧重于包含简单的平面特征，例如项目类别，这相当于在项目嵌入学习过程中添加正则化。

4 DEEP LEARNING MODELS WITH SIDE INFORMATION

4.1 Basic deep learning models

Auto-Encoder based methods
MLP based methods. NCF DMF
CNN based methods.
- Wang (2018) proposed Caser 采用两个方向的卷积滤波器
- He et al. (2018a) designed ConvNCF
RNN based methods. 主要用于时间建议和顺序建议（或下一项目建议）。
- SeRNN：GRU
- NSR:LSTM
- ST-RNN：时空RNN
- RRN:LSTM回归
Attention based methods. 标准的vanilla attention mechanism通过完全连接层转换输入数据的表示来学习输入数据的注意分数，然后采用额外的softmax layer来规范分数。自注意力机制。standard vanilla attention mechanism和 self-attention

用于推荐的基本深度学习模型

4.2 Deep learning models with flat features (DLMs+FFs)

flat features (e.g., user gender,item categories) 用户性别、物品特征等

Auto-Encoder based methods.HDS，使用评分矩阵和扁平特征，两个(aSDAEs)， minimize the rating estimation error as well as aSDAE reconstruction error
MLP based methods.Wide&Deep
CNN based methods.CDL-Image
RNN based methods.

结合的方法：pre-filtering、concatenation、projection

4.3 Deep learning models with network features (DLMs+NFs)

a MLP-based method, named NEXT for next POI recommendation. 类似于SVDFeature(Chen等人。 2012年)，用户和项目的嵌入受到相应元数据（即社交朋友、项目描述)的影响.
Ding et al. (2017) designed a CNN-based method (BayDNN) for friend recommendation in social networks. 将输入网络数据作为图像，然后采用贝叶斯排序.
(DeepSoR), 它首先使用Node2Vec(Grover和Leskovec2016)来学习社交网络中所有用户的嵌入,然后。。。。最后，将学习到的用户特征集成到概率矩阵分解中进行评分预测。
(GraphRec) ， a novel attention neural network。 jointly model the user-item interactions and user social relations

在DLMS中，NFs的使用从简单的预滤波发展到通过SVDFeature进行适度求和，最后发展到深度投影。这进一步有助于支持我们的观点，即在LFM中利用侧信息可以为DLM提供更好的线索和指导。由于NFS可以看作是一个图，其他与图形相关的DLMS也可以被采用，GCN、GNN等。它们在图形结构数据上有优越的学习能力。

4.4 Deep learning models with feature hierarchies (DLMs+FHs)

（个人不太关注）
IARN，the feature encoder is used to fuse a set of categories K that item i belongs to， $M_i^k$ that projects the item embedding $e_i$ into a new space.

4.5 Deep learning models with knowledge graphs (DLMs+KGs)

Graph embedding based methods. 传统的图嵌入方法，such as TransE (Bordes et al. 2013), TransR (Lin et al. 2015), TransH (Yang et al. 2014) and TransD (Ji et al. 2015), 来学习KG的嵌入。其他方法采用深度学习的方法来学习KG的嵌入。
Path embedding based methods. 通常，基于路径嵌入的方法提取用户项对之间具有不同语义的连接路径，然后通过DLMS对这些路径进行编码。
Propagation based methods. 不直接提取KG中的路径，而是采用传播来发现KG中推荐系统中的项与实体之间的高阶交互，这相当于自动机路径挖掘。

4.6 Deep learning models with text features (DLMs+TFs)

Auto-Encoder based methods.CDL， CDL simultaneously minimizes the rating estimation error via matrix factorization and SDAE reconstruction error.
MLP based methods.
CNN based methods. DeepCoNN
RNN based methods.
Attention based methods.
- MPCN, 动态区分不同评论的重要性，而不是平等对待它们。

回想一下，大多数LFMs+TFs在单词、方面和情感层面上利用TFs。而DLMs对TFs的开发是以更深、更细粒度的方式进行的。 In contrast, DLMs+TFs take the text embedding at word-level as input, and feed it into deep learning advances (e.g., SDAE, MLP, CNN, RNN), and extract features of the text via multiple non-linear transformations. 同时，可以采用神经注意机制来区分文本中每个单词的显着性，以及用户和项目的每次评论的显着性，从而支持更准确的推荐问题。文本特征通常用于学习用户（项目）上下文表示。早期融合和晚期融合：

early fusion，许多方法将字级的文本嵌入与用户（项）嵌入连接起来，一起送入下一层；直接使用用户（项目）的相关文本嵌入作为输入来学习用户和项目文本表示，而不连接用户和项目嵌入如DeepCoNN。
late fusion，通常由两个并行模块组成，即文本模块和评级模块。文本模块将相关的文本嵌入作为输入，采用深度学习(例如，SDae、MLP、CNN)来帮助学习用户（项目）文本表示；评级模块采用另一种深度神经结构，以用户-项目交互数据作为输入，帮助学习普通用户和项目表示。比如CDL

4.7 Deep learning models with image features (DLMs+IFs)

Auto-Encoder based methods.
MLP based methods.
CNN based methods.
RNN based methods.

4.9 Discussion of DLMs with side information

5 FUTURE DIRECTIONS

Deep recommenders with structured side information

Crowdsourcing side information for recommendation.

Side information for reinforcement & adversarial recommendation.

Side information for cross-domain & package recommendation.