Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation - 2021 NeurIPS

这是一篇发在NeurIPS 2021会议上的文章，读到它其实是机缘巧合，在文章返修的时候，审稿人指出我们的Related Work中应该包含这篇，于是就把这篇文章粗略看了看，与我们投稿所关注的SCSR问题是有关联的，但问题也不完全类似。单就文章的思路来说，作者条理清晰，举例恰当，本人在阅读过程中受到一些启发，在这里分享给大家：

论文解决的具体问题和主要假设

这篇文章是一篇典型的解决跨域CDR问题的文章，并且作者在本文中着重关注于CDCSR（Cross-Domain Cold-Start Recommendation）问题，也就是研究跨域冷启动推荐。该问题具体来说，即认为源域是热门域，而目标域是冷门域，主要研究目标可以总结为如何利用来自源域（其中items为“warm-items”）的信息来提高目标域（其中items为“cold-items”）的推荐性能。

当然CDCSR的研究在很早的时候就开始了，所以这并不是一个新的应用场景。作者随后指出了目前研究中的不足：即目前已有的CDCSR方法其实没能关注到域间embedding的潜在差异（由于域间信息异构性带来的差异），并因而导致了他们模型的退化（model degradation）问题。关于CDCSR作者指出，现有的CDR方法几乎都是假设冷门域和热门域的数据的分布是一致的，即假设他们都是服从均匀分布的。但作者认为，来自不同域的item由于域间的信息差异和异构性是不可能服从相似分布的，应该在潜在地嵌入分布上有所区别（其实，我个人觉得这应该也可以转化成先前分析过的跨域推荐问题中的域间行为差异公平性问题）。作者进一步指出本文解决的具体问题，是要尝试更有效地对齐来自不同域信息的分布，从而实现性能的提高。

论文使用的方法

为了解决上述问题，作者提出了一种由两个components组成的框架（如图所示，包含Rating Prediction Module和 Embedding Distribution Alignment Module），源域中的Rating Prediction Module主要是为了建模user和item之间的collaborative embedding，并将item的collaborative embedding与item的auxiliary embedding相匹配。Embedding Distribution Alignment Module是为了将warm-item和cold-item之间的分布跨域对齐，但对齐的目标其实是他们的auxiliary embedding（这是因为作者认为能够体现域间交互差异性，需要对齐的其实只有auxiliary embedding，而原本的U-I共现矩阵是域无关的，这是个很有意思的假设），充分减少源域和目标域中辅助潜在特征嵌入之间的差异。在这个框架中，作者使用了来自原始数据中的，除评分数据以外的附加信息（Auxiliary info）来帮助对齐两个域的分布。而主要创新点在于对齐Auxiliary分布的路径对齐算法，作者在本文中共探讨了两种方法（基础型和性能改进型），都有详细的公式和解释，并且对上图中的两个component的5个loss，也都解释得很明确，但在这篇泛读中不细述这些细节，有兴趣的可以在本文最后找到链接精读本文。

本文的主要贡献

作者提出了一种利用源域和目标域的辅助表示来对齐域间表示的方法，这种方法中包含了使用一种名为DisAlign的路径对齐方式，作者讨论了它的作用，并在此基础上提出了一种提高训练性能的改进型方法。
作者为域间差异的来源做了新的假设，即假设将auxiliary embedding对齐可以缓解域间行为差异对CDCSR带来的噪声问题。

简单读后感

本文提出的跨域冷启动场景在跨域问题中很常见，其实对于大部分需要通过跨域来提高目标域性能的时候基本上都是因为目标域本身性能不够好，而性能差的一大原因往往就是冷启动导致的。在这种情况下，作者提出了这样一种对齐源域目标域分布的思路，可以很好的化解域间行为差异带来的语义不兼容问题，而作者认为这种不兼容问题主要可以通过域附加信息Auxiliary info来体现，如果能够对齐Auxiliary info则可以通过匹配来辅助原有跨域信息的对齐。那么假设如果，目标域和源域无法提供Auxiliary info呢？有没有更好的方法能够将原有的UI embedding对齐呢？这也许是两个值得思考的问题。

另外本文的假设，其实也可以迁移成跨域冷启动场景中的公平性问题。即跨域过程中由于信息异构性导致域间存在语义不兼容的问题，那么如何化解这种问题，也是一个研究方向。

【论文泛读】Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation相关推荐

【论文泛读】 Deep Learning 论文合集
[论文泛读] Deep Learning 论文合集文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...
【论文泛读】 ResNet：深度残差网络
[论文泛读] ResNet:深度残差网络文章目录 [论文泛读] ResNet:深度残差网络摘要 Abstract 介绍 Introduction 残差结构的提出残差结构的一些问题深度残差网络 ...
【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
[论文泛读] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...
方面级情感分析论文泛读02：Syntax-Aware Aspect-Level Sentiment Classification with Proximity-Weighted Convolution
提示1:原文链接提示1:代码链接文章目录前言一.论文信息二.笔记要点 2.1. 目前存在的问题 2.2. 目前解决方法: 2.3.本文方法和创新点 2.4. 实验效果 2.5. 模型结构 2 ...
【论文泛读】Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks
Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks [2018 ...
ICRA2017三篇论文泛读
1.Convergence and Consistency Analysis for a 3-D Invariant-EKF SLAM(泛读)(ICRA2017)引用 9 摘要翻译: 在这篇文章中,我 ...
云计算中微服务相关论文泛读
以下是最近对于云计算中微服务系统调度论文的泛读,欢迎一起探讨问题,如需要论文请私聊. Amoeba: QoS-Awareness and Reduced Resource Usage of Micro ...
【论文泛读】ChineseBERT：融合字形与拼音信息的中文预训练模型
本次分享的论文ChineseBERT来自于ACL 2021会议,论文全名为ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin I ...
SP 2022论文泛读
S&P 2022的论文分类:https://www.ieee-security.org/TC/SP2022/program.html 接收的论文:https://www.ieee-securi ...
CCS2020论文泛读记录
写在前面 CCS '20: Proceedings of the 2020 ACM SIGSAC Conference on Computer and Communications Security ...

【论文泛读】Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation

Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation - 2021 NeurIPS

论文解决的具体问题和主要假设

论文使用的方法

本文的主要贡献

简单读后感

更多信息

【论文泛读】Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation相关推荐

最新文章

热门文章