搜索、推荐、广告中的曝光偏差问题
作者 | wulc
整理 | NewBeeNLP
机器学习本质上是在学习数据的分布, 其有效性的假设是模型 training 和 serving 时的数据是独立同分布(Independent and Identically Distributed, IID) 的,但是在实际应用中,由于采样有偏、具体场景等约束, training 的样本与 serving 时的样本并不是 IID 的。
在广告场景下,最典型的就是训练 cvr 模型时,训练样本都是 post clicked 的,但是 serving 时,cvr 模型面临的是所有被召回的样本;这类问题也被称为 exposure bias 或 sample selection bias,除了 exposure bias,position bias 等也是常见的 bias。
本文首先会简单介绍一些机器学习中的常见 bias,并着重介绍上面提到的 exposure bias(也叫 sample selection bias) 的在当前的一些解决思路, 笔者将其总结为 Data Augmentation、IPS 和 Domain Adaption 三大类方法。
1. Bias In Recommender System
除了本文要重点介绍的 exposure bias,这篇综述 Bias and Debias in Recommender System: A Survey and Future Directions[1] 描述了当前的推荐系统中存在的若干种 bias,paper 将当前的推荐系统划分为 User、Data、Model 三个大模块,并将各个模块的 iteraction 导致的 7 种 bias 归纳成下图
1.1 User->Data
产生训练数据的过程,也是 Bias 的最主要来源
Position Bias(implicit):用户更倾向于和位置靠前的物品进行交互
Exposure/Observation Bias(implicit):带标签的数据都是曝光过的,未曝光的数据无法确定其标签
Selection Bias(explicit):用户倾向于给自己喜欢或者不喜欢的物品进行打分(导致 exposure bias 的一个重要原因,不少 paper 将这个 bias 也当做 exposure bias)
Conformity Bias(explicit):用户打分的分数倾向于和群体观点保持一致
1.2 Data->Model
利用数据训练出模型的过程
Inductive Bias[2]: 指的是模型为了泛化性而做出的一些 assumption,如 Occam’s razor,SVM 假设线性可分的 assumption 等,这个 bias 没有带来显示的缺陷
1.3 Model->User Interaction
指的是模型预估的过程
Popularity Bias:指的是长尾效应,热门物品会得到更高的曝光概率,因为模型会更倾向于推荐这些物品(unbalanced training data 引起)
Unfairness: 一些预估结果带有性别歧视、种族歧视等(unbalanced training data 引起
上面的各种 bias 的起因、影响以及一些解决思路可归纳为下表
可以看到,上面这些 bias 并不是孤立的,而是相互影响和恶化的,其中 position bias 和 exposure bias 又是最为常见且相关研究较多的一个领域。
下面主要详细描述一些应对 exposure bias 的方法,值得注意的是,这里的 selection bias 跟 exposure bias 面临的问题是一致的,因此这里的方法也会一并归纳;bias 相应的方法可以参考上面的 paper。
2. Solutions to Exposure Bias
exposure bias 也被称为 Sample Selection Bias(SSB), 本质上是一个 「training 和 serving 不一致的问题」。这个问题往往是由于具体业务场景的限制,导致 training data 中的样本只是其 serving 时的很小一部分,因为其他的样本没被曝光/点击,导致了无法得到其 label。
如文章开头提到的 cvr 模型,对于那些不被点击的样本是无法得知其是否被转化的;同样地,在 ctr 模型中,那些没有曝光机会的样本是无法得知其是否被点击的了;但是在 serving 阶段,ctr/cvr 模型面对的是所有的样本,而其中有很多是从未曝光过的,因此便导致了一个 training 与 serving 不一致的问题。
针对这个问题,当前有以下几种解决思路(不限于上面综述的 paper)
(1) 「Data Augmentation」:这个是最朴素的想法,就是尽可能将那些没进入训练数据集的样本利用上,因此不少研究也是给 unobserved/unclicked 的样本打上一个「相对准确的 label」;而这里面也主要分为下面三类方法
最粗暴的是把所有未曝光的样本当做 negative sample,然后基于不同策略给这些样本不同的权重
训练一个 imputation model,然后通过 imputation model 来预估未曝光样本的 label
通过 multitask 的方式建模,训练使用前一转化目标的全量样本(ESMM)
(2) 「IPS(Inverse Propensity Score)」: 这个方法的假设是样本被「曝光或点击服一个伯努利分布」,然后从概率论推导出:只要给每个曝光的样本加权(权重即为 inverse propensity score),最终在曝光的样本上求得的期望等于在全量样本上的期望;实际上,这个方法的思想就是 importance sampling[3]
(3) 「Domain Adaption」: 类似 transfer learning 的思想,将曝光/点击的样本视为 source domain,全部样本视为 target domain;通过 domain adaption 的一些方法去进行 debias
2.1 Data Augmentation
上面提到了,最朴素的想法是将那些未被观测到的样本利用上,而这里面又可分为三大类方法:all nagative with confidence、imputation model 和 multitask learning
2.1.1 all nagative with confidence
第一类方法是将所有未被观测到的样本都当做负样本,而这里的核心是如何给每个样本一个合理的 confidence,其实就是样本的加权,上面提到的综述中介绍了三种方法,分别是 「Heuristic、Sampling、Exposure-based model」
Heuristic 尝试将 user activity level、user preference、item popularity、user-item feature similarity 等作为 (user, item) pair 的 confidence, 其思想都是认为用户活跃度越高、商品越热门、用户-商品匹配度越高,该样本的可信度(confidence) 越高;但是这种方法往往可行性不够高,因为这个 confidence 实际的值是比较难获取的,其量纲以及需要对庞大的数据集都生成这个 confidence,难度是很大的。
Sampling:TODO
Exposure-based mode:TODO
2.1.2 imputation model
第二种方法也很直观,就是训练一个 imputation model 为那些未曝光/点击的样本打上标签,然后基于这些 imputed label 来训练模型;而 imputation model 可单独训练,也与目标的模型做 joint training;
这个方法的弊端也很明显,就是生成的 imputed label 缺少绝对的 ground truth 来衡量其效果,实际上,这个是所有直接为样本生成 label 的方法的弊端。
2.1.3 multitask learning
第三种方法是基于 multitask 的方法,主要思想就是「同时建模当前的任务及其更浅一层的任务,进而间接利用那些没被曝光/点击的数据」;
其中为人熟知的是阿里在 2018 年发表的 ESMM, Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate[4],这篇 paper 主要针对的是 cvr 模型中缺少未点击的样本带来的 bias,增加了两个 auxiliary task(CTR 和 CTCVR) 来缓解这个问题,总体的模型结构如下图所示
训练的 loss function 如下所示( 表示点击事件, 表示转化事件)
可以将模型利用的样本视为 (show, click, convert) pair 对,则相比传统 cvr 模型,ESMM 能够利用那些曝光未点击的样本(即下表中最后一列,0/1表示对应的中间链路事件是否发生)
show | click | convert |
---|---|---|
1 | 1 | 1 |
1 | 1 | 0 |
1 | 0 | 0 |
在预估时,通过如下条件概率公式,能够从统计意义上保证 cvr 的值是无偏的
实验效果如下,各种方法的具体含义如下
BASE: 普通建模 CVR 模型
AMAN: 对负样本做 negative sampling
OVERSAMPLING: 对正样本做 over sampling
UNBIAS: 参考 这篇 paper[5] 将 pCTR 当做 rejection probability
DIVISION: 分别建模 pCTR 和 pCTCVR,然后利用上面的公式计算 pCVR
ESMM-NS: 不 share bottom 的 ESMM
ESMM: share bottom 的 ESMM
2.2 IPS(Inverse Propensity Score)
Inverse Propensity Score 的做法是为每个有 label 的样本预估一个 propensity score(倾向性得分),其含义直观来说就是样本进入训练集(被标记 label)的概率,如对于 CTR 模型,propensity 就是曝光的概率,对于 CVR 模型,propensity 就是点击的概率。
IPS 实际上借鉴了 Importance Sampling 的思想,通过给每个样本一个概率值作为权重,从统计学上证明了基于观测到的数据求得的期望与全量数据的期望是一致,其推导过程可简单描述为如下方式
记 是观测到 label 的样本数, 则是同时包含了那些没被观测到的样本();则无偏的优化目标应该是 (、 分别表示 label 与预估值)
现在令第 个样本的是否被观测到记为 ,则可假设 服从一个伯努利分布即 , 这里的 是样本 被观测到的概率,则上面的优化问题可写成如下形式
则上面问题 (1) 可被写成如下形式, 即可通过观测到的数据进行模型的训练,而 可利用label 为是否被观测到的数据进行训练,训练方式可以是单独训练或与这个 task 做 joint training。
而如果套用 importance sampling[6] 的方法,其实也能得到上面问题(2)的形式,在观测到的样本中, 样本 被采样的概率是 , 而在全部样本中,由于每个样本都会被采样到,因此其采样概率是 1,即加权的系数是
此外,也有方法同时融合了第一类方法中的 imputation model 和这里的 IPS 方法,被称为 「Doubly Robust Method」,则其损失函数可写成如下形式( 是通过 imputation model 得到的 label)
上述方法在 Improving Ad Click Prediction by Considering Non-displayed Events[7] 有较为详细的描述,可以参考一下
2.3 Domain Adaption
Domain Adatption[8] 可以认为是 transfer learning 的一个子领域,根据 wiki 的说法其目标是
aim at learning from a source data distribution a well performing model on a different (but related) target data distribution.
这个说法比较宽泛,实际中用到的方法可分为下面四大类(from wiki[9]),实际上跟我们上面提到的方法的思想都比较相似
「Reweighting algorithms」: reweight the source labeled sample such that it “looks like” the target sample (in terms of the error measure considered).
「Iterative algorithms」:iteratively “auto-labeling” the target examples
「Search of a common representation space」:construct a common representation space for the two domains
「Hierarchical Bayesian Model」:build a factorization model to derive domain-dependent latent representations allowing both domain-specific and globally shared latent factors
而在 Exposure Bias 场景下,观测到的数据被当做 source domain,全量数据被当做 target domain,利用 domain adaption 解决 exposure bias 比较有代表性的 paper 是阿里在 2020 发表的 ESAM,ESAM: Discriminative gDomain Adaptation with Non-Displayed Items to Improve Long-Tail Performance[10]
ESAM(Entire Space Adaption Modelling) 跟上面提到的 ESMM(Entire Space Multi-Task Model) 名字很相似,要解决的问题也很相似,但是前者是召回场景, 后者是 cvr 场景;
ESAM 总体如下所示,各符号含义如下(基本上就是向量化召回的涉及到的概念)
: query
: 有曝光的 item
: 没有曝光的 item
, : 将 query 和 item 映射成 embedding 的函数
, : query 和 item 被 , 映射出来的 embedding
: 计算 , 相似性的函数,常见的是內积
: 基于 吐出的预估值 计算的损失函数,常见的有 point-wise、pair-wise、list-wise 三大类
、、: paper 中提出的缓解 exposure bias 的三种途径,以 loss 形式叠加在原始的 上,也是下文要重点展开描述的部分
ESAM 的核心在于叠加在原始损失函数 上的三项:、、,下面会分别描述这三项的含义和计算方式
:Domain Adaptation with Attribute Correlation Alignment
这个 loss 项的出发点是两个特征在 source domain 和 target domain 中的相关性是保持一致的,如下图所示,左边的图认为 price 跟 brand 是具有强相关的、brand 跟 material 中度相关、price 跟 material 弱相关,而 这个损失项是基于下面两个假设产生的
(1) 相关性在 source domain 和 target domain 都是一致的
(2) 原始的特征(即 price、brand、material)会被映射到 embedding 中某一维或几维
因此,可以设计 loss 项「令两个特征的相关性在 source domain 和 target domain 尽可能保持一致」, 而这里的相关性可采用协方差
因此, 项计算方式如下,令 为 n 个 source domain 样本映射出来的 embedding matrix,而 则是 n 个 target domain 样本映射出来的 embedding matrix, 每个 是一个长度为 的向量
如果将每个 embedding 相同的维度提取出来作为一个 vector ,则 和 也可写成如下形式,每个 是一个长度为 的向量
则 计算方式如下
上式中的 和 分别代表 source domain 和 target domain 的 covariance matrix,此外,笔者认为上面的公式其实表达不完全准确,因为 covariance[11] 计算还需要减去均值的,上面并没有这么做
加上改了这一项后,可以认为 source domain 和 target domain 在向量空间中的分布变化如下
:Center-Wise Clustering for Source Clustering.
第二项 loss 跟人脸识别中最早提出的 center loss[12] 很相似,就是让相同类型的样本在向量空间中尽可能接近,在广告的场景下这个类型可以是 click、non-click、purchase等;此外,还会令不同类型的样本在向量空间中的距离尽可能远;这个思想比较好理解
而为了定义出距离,会为每一个类型定义出一个聚类中心,聚类中心会被参数化;具体计算方式如下
上面的公式中 和 分别是两个 margin,表示样本距离其类簇距离小于 和 类簇之间的距离大于 的情况下无需优化;同时假设所有样本有 种类型, 第 种类型(即样本 label 为 )样本的 center 是 ,其定义为当前训练样本中类型为 的样本的向量的中心,表示如下(函数的值为 1(cond=true) 或 0(cond=false))则加入 这一项后,source domain 和 target domain 在向量空间中的分布变化如下,可以看到,「虽然 target domain 中的样本具有高内聚性,但是其聚类的簇可能是错误,其原因是对于 target domain 中的样本,目前为止都没有加入 label 信息」,而这便是下一项 loss 要解决的问题
:Self-Training for Target Clustering.
从这项 loss 的描述中的 「self training」,可以猜测其做法是为 target domain 中 unlabeled 的样本打上标签用于训练模型,这是 semi supervised learning 中常见做法,而 paper 中并「没有直接为 unlabeled 的样本打上标签,而是通过 loss 较为巧妙地实现了这一点」,其表达如下
其中 和 是两个阈值,表示含义是样本的「置信度达到一定程度才认为其是负样本/正样本,则这个 loss 的目标会让预估值小于 的样本预估值更接近 0,预估值大于 的样本的预估值更接近 1」,原因见可以看下面画出的 的函数,直接令这一项最小即可达到 self-training 的目标
加入 这一项后,source domain 和 target domain 在向量空间中的分布变化如下, 也是 ESAM 的最终形态
则最终的 loss 为下式所示,其中 , , 是三个超参, 通过 gradient descent 即可求解
3. Summary
综上,本文主要针对 exposure bias 介绍了三大类方法,分别是 Data Augmentation、IPS 和 Domain Adaption,三类方法主要思想如下
Data Augmentation: 即利用那些 unlabeled 的样本,方法较多,如将所有样本都当做负样本、训练一个 imputation model 来给 unlabeled 的样本打上标签、通过 multitask 方式利用等
IPS:只利用曝光的样本,从概率论推导出给曝光样本进行合适的加权后,基于曝光的样本求的期望是无偏的
Domain Adaption:利用了 unlabeled 的样本,主要分析了 ESAM 这篇 paper, 同时通过在 loss 上添加了三项,能够令曝光和未曝光的 item 训练得到的向量空间尽可能保持一致,这三项的 loss 背后的思想也值得参考
此外,上面的一些方法虽然从理论上看起来比较 fancy,但是根据笔者当前的工作经验,实际中应用这些方法,还需要考虑到模型的迭代效率、理论的假设是否符合实际等等;比如说 data augmentation/ESAM 方法会导致数据量增加不止一个量级,而这会势必会导致训练时长增加,即使这个方法有效果,也要考虑带来的收益以及牺牲的迭代效率和机器资源等兑换是否划算, 或者考虑如何改进采样策略尽可能打平样本量。
一起交流
想和你一起学习进步!『NewBeeNLP』目前已经建立了多个不同方向交流群(机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等),名额有限,赶紧添加下方微信加入一起讨论交流吧!(注意一定要备注信息才能通过)
本文参考资料
[1]
Bias and Debias in Recommender System: A Survey and Future Directions: https://arxiv.org/abs/2010.03240
[2]
Inductive Bias: https://en.wikipedia.org/wiki/Inductive_bias
[3]
importance sampling: https://en.wikipedia.org/wiki/Importance_sampling
[4]
Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate: https://arxiv.org/pdf/1804.07931.pdf
[5]
这篇 paper: http://wnzhang.net/papers/unbias-kdd.pdf
[6]
importance sampling: https://zhuanlan.zhihu.com/p/41217212
[7]
Improving Ad Click Prediction by Considering Non-displayed Events: https://www.csie.ntu.edu.tw/~cjlin/papers/occtr/ctr_oc.pdf
[8]
Domain Adatption: https://en.wikipedia.org/wiki/Domain_adaptation
[9]
wiki: https://en.wikipedia.org/wiki/Domain_adaptation#Four_algorithmic_principles
[10]
ESAM: Discriminative gDomain Adaptation with Non-Displayed Items to Improve Long-Tail Performance: https://arxiv.org/pdf/2005.10545.pdf
[11]
covariance: https://en.wikipedia.org/wiki/Covariance
[12]
center loss: https://link.springer.com/chapter/10.1007/978-3-319-46478-7_31
- END -
阿里广告技术最新突破!全链路联动——面向最终目标的全链路一致性建模
2021-09-25
算法黑话大赏,我直呼好家伙!
2021-09-19
NLP面试复盘 | 阿里/腾讯/头条/paypal/快手
2021-09-11
三大视角,聊聊我眼中的广告系统
2021-09-06
搜索、推荐、广告中的曝光偏差问题相关推荐
- 搜索推荐广告中的Position Bias:美团DPIN
作者 | Chilia 哥伦比亚大学 nlp搜索推荐 整理 | NewBeeNLP 在上一篇文章中,我们介绍了业界解决position bias的一些方法.聊一聊搜索推荐中的 Position Bia ...
- GNN通俗笔记:图神经网络在推荐/广告中的应用
原始视频:七月在线公开课<图神经网络在推荐广告场景中的应用>,课件可以打开视频页面下载 分享老师:推荐吴老师,推荐/广告算法专家,曾任部门算法负责人,年薪....不低 字幕校对:天保,全程 ...
- 刨根问底:NLP中的曝光偏差问题的思考
什么是曝光偏差? 曝光误差(exposure bias)简单来讲是因为文本生成在训练和推断时的不一致造成的. 不一致体现在推断和训练时使用的输入不同,在训练时每一个词输入都来自真实样本(GroudTr ...
- 推荐、搜索、广告中的召回、相关性、多目标精排 - 召回篇
一.召回 智能推荐算法在直播场景中的应用 - 知乎 花椒直播推荐系统高级算法工程师王洋:智能推荐系统在直播场景中的应用_哔哩哔哩_bilibili 1:基于item的协同过滤(求出来item之间的相似 ...
- 【万字干获】阿里妈妈搜索推荐广告预估模型2021思考与实践
省时查报告-专业.及时.全面的行研报告库 省时查方案-专业.及时.全面的营销策划方案库 知识图谱在美团推荐场景中的应用实践 搜索场景下的智能实体推荐 机器学习在B站推荐系统中的应用实践 小红书推荐系统 ...
- 搜索推荐炼丹笔记:位置偏差里的惊喜
PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems (RecSys ...
- nsoutlineview 搜索_阿里巴巴搜索推荐广告三位一体的在线服务体系
最近在工作中大量使用到了淘系的在线分发服务体系,可以快速高效的实现个性化内容分发,其技术架构的概览在这里分享给大家. AI·OS(Artificial Intelligence Online Serv ...
- 淘宝千人千面背后的秘密:搜索推荐广告三位一体的在线服务体系AI·OS
简介:揭晓三位一体的在线服务体系AI·OS,及其技术架构演进,技术概况,云原生产品与实践. 作者:阿里巴巴搜索推荐事业部高级研究员 沈加翔 一.三位一体的在线服务体系AI·OS介绍 AI·OS(Art ...
- 聊一聊搜索推荐中的 Position Bias
作者 | Chilia 哥伦比亚大学 NLP搜索推荐 整理 | NewBeeNLP 在搜索推荐系统中,Bias可以说无处不在.之前我们整理过搜索.推荐.广告中的曝光偏差问题,今天来看看 positio ...
最新文章
- 四川大学计算机学院男女生比例,川大、电子科大新生男女比例大PK 比例更佳的是……...
- 在IIS中部署Asp.net Mvc
- 基于Pytorch实现CNN卷积神经网络-Mnist数据集
- Windows / VS下不同类型变量转换
- 自创一种新的方法建立 平衡二叉树(AVL)
- linux的telnet
- 对应于正态分布的拉丁超立方抽样——Python版
- 双排四点接触球转盘轴承的有限元分析
- 房租分期业务系统-抓住新的市场机遇
- 新项目上传之svn服务器
- 【热门】牛宝宝取名大全:女孩带点诗意唯美柔情的名字
- POI解析1997-2003、2007版本excel
- java 小工 到_测试小工——从0到1搭建最简单的Linux网站
- 数据库系统概论第五版第二章习题6
- 使用 “恢复模式” 或 “DFU 模式” 来更新和恢复 iOS 固件
- 蚂蚁森林|科技,是这个时代最大的公益
- linux运行游戏模拟器,Linux安装ePSXe 1.6.0游戏模拟器 【转载】
- python语音导航_python爬虫,狂爬各种导航网站并分类
- rs485无线通讯模块在工业测控中的应用
- 20071124 - 干瞪眼自驾协会喜捷烧烤聚会
热门文章
- SAP License:转一篇初学者必看的文章
- 如何评估一个产品的投资回报?
- Axure通用web端元件库rplib文件格式+移动端app通用元件库rplib文件格式+电脑端动态可视化图表元件库+数据展示+操作反馈+通用模板+数据录入+列表页+表单页+详情页+通用版布局
- MyBatis嵌套Collection
- 美丽的字符正方形FINAL
- Graham Scan凸包算法
- hdu 2986 Ballot evaluation (Simulation)
- 瑞士行-少女峰,峡谷徒步
- 企业搜索引擎(Enterprise Search Engine)的2007中重要的功能
- JZOJ 3457. 【NOIP2013模拟联考3】沙耶的玩偶(doll)