推荐系统中的bias在推荐业务中无可避免，且会对展示效果和推荐生态都会造成负面影响。推荐广告领域的海量论文大部分都聚焦在数据特征的表达，以及模型对用户行为数据的拟合上。如果不考虑固有的偏差，盲目地对数据进行拟合，会导致很多严重的问题，如线下评价与在线指标的不一致,损害用户对推荐服务的满意度和信任度等。
前一段时间实习的时候接触到一些debias的工作，正好借此机会系统的学习和整理了下这块的一些方法，第一篇作为总览先介绍下推荐系统中bias产生的原因，bias的类型以及bias会造成的影响，至于debias后续会跟几篇文章介绍一些方法（来自于业务总结，paper以及一些比赛方案提供的思路）。

关于bias和debias可以参照2020年的一篇综述《Bias and Debias in Recommender System: A Survey and Future Directions 》。文章从学术界的角度总结的bias的类型有很多，但是业界重点考虑到还是遗下几大类：position bias、exposure bias、selection bias和popularity bias。

position bias

position bias指的是ranking中的每个对象受到的关注会受到展现位置的影响，位置靠前的物品比位置靠后的物品更容易被用户注意到，也更容易获得点击，从而使模型对用户偏好的感知出现偏差。它的成因来自于用户的点击习惯，也是大部分人群的点击习惯：对于展示坑位靠前的，比如最前面展示的一两个位置，人们总是倾向于点击下他去看他，那么这些位置item的后验点击率一定是偏高的。如果再让模型去学就会高估，为此必须把位置偏置去掉，让模型去预估不包含位置信息的点击率。

exposure bias

曝光偏差主要来自用户的隐式反馈，如点击。用户只能看到一部分系统曝光的物品，并作出点击等反应。但是数据中不包含的交互并不一定代表用户不喜欢，还有可能是用户不知道该物品。

selection bias

选择偏差主要来自用户的显式反馈，如对物品的评分。由于用户倾向于对自己感兴趣的物品打分，很少对自己很少对自己不感兴趣的物品打分，造成了数据非随机缺失(Missing Not At Random, MNAR)问题，观察到的评分并不是所有评分的代表性样本，于是产生了选择偏差。

popularity bias

长尾现象在推荐数据中很常见：在大多数情况下，一小部分受欢迎的商品占了大多数用户交互的比例。当对这些长尾数据进行训练时，该模型通常会给热门项目的评分高于其理想值，而只是简单地将不受欢迎的商品预测为负值。因此，推荐热门商品的频率甚至比数据集中显示的原始受欢迎程度还要高。

Himan等人对流行偏见进行了实证检验。如上图所示,项目流行度和推荐频率之间的关系。我们可以发现，大多数推荐的商品都位于高人气区（H）。事实上，他们被推荐的程度甚至超过了他们最初的受欢迎程度.

忽略流行度经常会带来非常多的问题:
(1).降低个性化的程度影响,影响用户的体验;
(2).降低了推荐系统的公平性, 流行的商品却不一定是高质量的, 对流行商品的推荐会降低其它商品的曝光,这是不公平的;
(3).Popular Bias会增加流行商品的曝光率, 使得流行的商品越加流行，而推荐系统中的反馈回路则放大了偏差;

参考
1.https://zhuanlan.zhihu.com/p/293050486
2.https://zhuanlan.zhihu.com/p/380753374

推荐系统中的biasdebias(一)：bias的成因、类型和影响相关推荐

推荐系统中的biasdebias(二)：position bias的消偏
前面提到过position bias,即用户倾向于点击排在前面的结果,这使得"优势位置"的item会获得更高的后验点击率. 这本质上是和用户的注意力,用户对item的情绪有关,而和 ...
聊聊推荐系统中的偏差
文 | 成指导源 | 知乎背景推荐系统中大量使用用户行为数据,作为系统学习的标签或者说信号.但用户行为数据天生存在各式各样的偏差(bias),如果直接作为信号的话,学习出的模型参数不能准确表征用 ...
推荐系统中不得不学的对比学习（Contrastive Learning）方法
作者 | 对白出品 | 公众号:对白的算法屋大家好,我是对白. 今天我们来聊一聊推荐系统中不得不学的Contrastive Learning方法,近年来Contrastive Learning在C ...
推荐系统中的Bias/Debias大全
作者:一元公众号:炼丹笔记背景在实践中,做推荐系统的很多朋友思考的问题是如何对数据进行挖掘,大多数论文致力于开发机器学习模型来更好地拟合用户行为数据.然而,用户行为数据是观察性的,而不是实验性的 ...
推荐系统中的长尾物品（Tail Items）推荐问题
长尾物品(Tail Items)在推荐系统中是非常常见的,长尾的存在导致了样本的不均衡,对于热门头部物品(Head Items)的样本量多,模型学习这部分的效果越好,而长尾物品的样本量少,导致模型对该 ...
SIGIR 2021 | AutoDebias：推荐系统中通用的自动去偏方法
©PaperWeekly 原创 · 作者|董汉德学校|中国科学技术大学硕士生研究方向|信息检索摘要近些年来,推荐系统的偏差越来越受到研究者的关注.训练推荐模型的数据大多为观测所得,而非实验所得 ...
何向南教授团队最新综述：对话推荐系统中的进展与未来挑战
©作者|高崇铭.雷文强等来源|社媒派SMP 背景介绍推荐系统为工业界带来了巨大的收益.大多数推荐系统都是以静态的方式工作,即从用户历史的交互中来推测用户的兴趣爱好从而做出推荐.然而,这样的方式有缺 ...
浅谈微视推荐系统中的特征工程
本文作者:hannahguo,腾讯 PCG 推荐算法工程师在推荐系统中,特征工程扮演着重要的角色.俗话说数据和特征决定了机器学习算法的上限,而模型.算法的选择和优化只是在不断逼近这个上限.特征工程的 ...
[转]矩阵分解在推荐系统中的应用
矩阵分解是最近几年比较火的算法,经过kddcup和netflix比赛的多人多次检验,矩阵分解可以带来更好的结果,而且可以充分地考虑各种因素的影响,有非常好的扩展性,因为要考虑多种因素的综合作用,往往需 ...

推荐系统中的biasdebias(一)：bias的成因、类型和影响

position bias

exposure bias

selection bias

popularity bias

推荐系统中的biasdebias(一)：bias的成因、类型和影响相关推荐

最新文章

热门文章