先来个定义

长尾效应：20%的热门item占据了80%的曝光量，剩下80%的小众、长尾item得不到多少曝光机会，自然在训练样本中也是少数、弱势群体。
一般的推荐模型是迎合多数人群的，长尾的item曝光机会少，就导致小众兴趣难以满足，这对一个成熟的生态系统来说，不利于用户增长。
场景举例：有些原来不受到重视的销量小但种类多的商品，由于总量巨大，累积起来的总收益超过了主流商品。这种情况下，算法挖掘小众兴趣的能力显得尤为重要。

对比学习

对于样本不均衡的问题，一般首要想到的办法是做数据增强(data agument), 对比学习的核心就是采用数据增强构建正负变体，倾向于无监督学习，学习一个比较好的特征提取器。推荐系统中引入对比学习用于推荐debias，解决“少数人群+冷门物料，标注样本少”的问题，从逻辑上看是可行的。
《Self-supervised Learning for Large-scale Item Recommendations》，就是利用对比学习辅助训练双塔召回模型，目的是让item tower对冷门、小众item也能够学习出高质量的embedding，从而改善内容生态。从公式上看，可以理解为将对比学习的loss作为主任务loss的一个正则项。

论文解读

小Q认为论文中有两个核心的技术点，一个在对比学习部分，另一个在联合训练部分。

数据增强

在对比学习数据增强部分，论文提出对于item特征的数据增强分为两个步骤：Masking和Dropout，其中masking是采用默认embedding随机掩盖一些输入特征，dropout就是简单的随机丢失一些输入特征。

Random Feature Masking(RFM)

文中定义了一个baseline Random Feature Masking(RFM) ，采用互补masking模式，即将特征集拆分为两个互斥特征集，构建为两个扩展变体。具体来说，将特征集随机分成两个不相交的子集。大致结构如下：

某个item xi, 随机抽取一半的特征h，得到变体yi，再经过Encoder H，得到向量zi；保留剩下的另一半特征g，得到变体yi’，再经过Encoder G，得到向量zi’。
来自同一个item xi 的两种变体对应的embedding zi和zi’，两者之间的相似度应该越大越好。
按照同样的作法，另一个item xj，用一半特征h得到变体，再经过Encoder H得到yj；用另一半特征g，得到变体，再经过Encoder G得到yj’。
来自不同item的变体对应的embedding，两者之间的相似度应该越低越好。

Correlated Feature Masking (CFM)

论文基于信息论中的互信息，提出了Correlated Feature Masking (CFM)方法，这个方法每个batch进行训练时，先会随机选取一个特征 f_seed , 然后选择topn(n 为item的特征总数的一半) 构建一个特征集做为变体。

为什么采用CFM

此处楼主小Q主要想讨论一下的是：为什么要采用互补masking模式构建对比学习的变体呢，为什么采用互信息高的特征集会比随机masking效果好呢。
在论文中有这么一段描述：

For instance, the SSL contrastive learning task may exploit the shortcut of highly correlated features
between the two augmented examples, making the SSL task too easy.

从字面意思看,是说随机masking 可能有一些高度相关的feature 分到两个变体中， CL train的就太easy了，所以要加大一下难度的样子。
hmmm，查了一些资料，没找到更详细的解析了，大致意思是由于物品的不同特征可能存在着一些关联性，随机masking可能会使得模型在对比学习的过程中，通过关联度较高的特征来“猜”出被mask的特征，使得任务训练变得简单。
这里小Q尝试举个例子，来强行解释一下吧，假设：item是个商品，它有品类，品牌，产品系列，价格等特征，假设“品牌“ 被拆分到变体h中，”产品系列“被拆分到变体g中，看上去两个变体都是不同的，但是两个特征包含的隐信息其实没太大区别，最终两个变体的embedding太容易相似，就不到训练模型的目的。至于为什么要采用互补masking模式，大致也是为了保证变体的差异性。
好，小Q只能忽悠到这个程度了，大家有别的想法欢迎在评论区留言。

联合训练

做完对比学习，下一个步骤就是联合训练了，先上个论文中的模型图：

从上图可以看出，整个item tower是被user-item双塔召回的主任务、对比学习辅助任务中的encoder H和G，这三者所共享的。
论文的第二个重点来了，“We sample items uniformly from the corpus for Lself " ，论文中明确表示参与对比学习的样本，和参与主任务的样本，来自不同的样本空间。
主任务，需要拟合用户与item之间的真实互动，还是以已经曝光过的user/item为主。对比学习部分，是为了消除推荐长尾问题，主要是要关注曝光率低的item。

参考资料：
https://zhuanlan.zhihu.com/p/435903339
https://zhuanlan.zhihu.com/p/141141365?ivk_sa=1024320u
https://blog.csdn.net/m0_37924639/article/details/121078066

【Google Paper】对比学习用于解决推荐系统长尾问题相关推荐

CIKM 2021 | Google出品：将对比学习用于解决推荐系统长尾问题
©作者 | Sybil Wu 单位 | 明略科技集团研究方向 | NLP.推荐算法本文主要分享一下 Google 发表于 CIKM 2021 的文章如何采用对比学习解决推荐长尾问题. 论文标题: ...
Google提出用对比学习解决推荐系统长尾问题
关注 ▲对白▲ 和百万AI爱好者,一起向上生长这是对白的第 87 期分享作者 l 知乎@吴家丫头1990 出品 l 对白的算法屋大家好,我是对白. 本文主要分享一下Google今年提出的< ...
【实践】对比学习在快手推荐系统中的的应用探索
省时查报告-专业.及时.全面的行研报告库省时查方案-专业.及时.全面的营销策划方案库知识图谱在美团推荐场景中的应用实践搜索场景下的智能实体推荐机器学习在B站推荐系统中的应用实践小红书推荐系统 ...
对比学习用于推荐系统问题（SSL，S^3-Rec，SGL，DHCN，SEMI，MMCLR）
本篇博文继续整理推荐系统系列,更多文章可以参考博主的以往系列论文:推荐系统专栏. 自监督学习在CV和NLP已经用的很多了,那很自然也会被迅速引进并占坑到推荐系统领域咯.而发掘推荐数据上的自监督信号,其 ...
购物篮推荐场景太复杂？没有商品相关性标签？看作者运用对比学习统统解决...
©PaperWeekly 原创 · 作者 | Yuqi Qin 学校 | 北京邮电大学研究方向 | 推荐系统本文关注的是对购物篮去噪.目的是:从历史购物篮序列中挑选出真正可信赖的相关商品,来对每个 ...
NIPS20 - 将对比学习用于监督学习任务《Supervised Contrastive Learning》
文章目录原文地址论文阅读方法初识相知回顾代码原文地址原文论文阅读方法三遍论文法初识对比学习这两年在自监督学习.无监督学习任务中非常火,取得了非常优秀的性能.这个工作就是想办法将 ...
Ernie-SimCSE对比学习在内容反作弊上应用
作者 | ANTI 导读 AI技术在不同行业和业务被广泛的应用,本文介绍了反作弊团队在与spammer对抗愈演愈烈的趋势下,不断探索前沿技术,将百度NLP预训练模型结合对比学习用于解决spam内容中知 ...
对比学习视角重新审视推荐系统
目录 1 什么是对比学习 1.1 对比学习的渊源和谱系 1.2 什么是对比学习系统 1.3 对比学习的典型例子 SimCLR给出的解决办法 1.4 什么是不好的对比学习系统 1.5 什么是好的对比学习 ...
推荐系统遇到曝光偏差怎么办？用对比学习！
推荐系统中常常需要在亿级别的候选集中找到上百个相关的item,俗称DCG问题(Deep candidate generation).通常处理这类问题采用的类似语言建模的方法.然而显存的推荐系统都存在着 ...
Parametric Contrastive Learning：长尾问题中的对比学习
一.监督学习中的损失函数公式在监督学习中,上面公式是我们最常见的形式,其中,q为query representation,也就是特征,w_y是fc层的权重,相乘得到logits. 二.长尾中重加权的 ...

【Google Paper】对比学习用于解决推荐系统长尾问题

目录