由于工作的需要,广告增益越来越进入到我们的视野当中,收益永远是广告主评价广告投放的重要标准,但是这种收益也慢慢被认为有两种。

一种是广告投放所带来的直接收益,比如用户A广告投放后的cvr为3%,用户B广告投放后的cvr为2%,我们就会给A用户投放广告。

另一种是广告投放本身所带来的收益,例如用户A广告投放之后cvr是3%,投放之前cvr2.5%,那么我们认为广告本身所带来的收益为0.5%,用户B广告投放之后的cvr是2%,但是广告投放之前的cvr是1%,那么我们认为广告投放本身所带来的收益为1%,我们最终会把广告投给B。

以上就是两种不同收益评价策略。本文我们将重点介绍第二种,广告投放本身所带来的收益,即增益。主要从以下4个方面来介绍增益模型。增益模型(Uplift Model)的定义

求解增益模型面临的问题

增益模型的建模方法

增益模型的评估方法

具体业务问题抽象建模与理解

1.增益模型(Uplift Model)的定义

智能营销增益模型帮助商家计算人群营销敏感度,驱动收益模拟预算和投放策略制定,促成营销推广效率的最大化。同时如何衡量和预测营销干预带来的“增量提升”,而不是把营销预算浪费在“本来就会转化”的那部分人身上,成为智能营销算法最重要的挑战。增益模型(Uplift model)的定义:增量模型,用于预测/估计某种干预对个体状态/行为的因果效应。可以形式化为以下等式:

其中,Y表示潜在的后果(比如转化、点击等行为),X表示用户的特征,T表示某种干预。那么应用在广告营销中就可以形象的表示为某用户在经过广告投放行为之后,用户发生某种行为(点击或购买)增加的概率。

补充:在很多介绍增益模型的博客/文章中,提到增益模型是为了帮助广告主找到营销敏感人群,但又没有具体量化给出怎么样的人群是营销敏感人群,那我们的增益模型就无从谈起寻找营销敏感人群。我的理解增益模型的作用是计算人群营销敏感度,具体就是计算每个用户的增益,再根据广告主设置的预算以及其它限制看是否对该用户投放广告。

2.求解增益模型面临的问题

模型建模的难点在于我们获取的训练数据是不完整的,对于个体用户来说,我们不可能同时观测到在有干预和没有干预两种情况下的表现,也就是因果推断中经常提到的反事实的问题。这里解决的方法一般是寻找同质人群,或者我们经常说的镜像人群,实际的建模可以人为归档的某类人群,然后分为对照组(不进行广告投放)和实验组(进行广告投放干预),统计这两类人在转化率上的差值,一般可以采用随机化的A/B Test。

3.增益模型的建模方法

目前提出的建模方法中有三种增益模型的建模方法:Two-Model,One-Model,Modeling Uplift Directly。其中One-Model是目前最常用的方法。下面先分别简单介绍一下三个模型,然后重点介绍One-Model。

Two-Model:训练2个模型,首先圈定一个人群(同质人群),里面有被投放广告的,也有没有投放广告的,注意两个人群(投放广告与没有投放广告)的选取一定要有随机性。其中未投放广告的为对照组,投放广告的为实验组。对两个人群分别建模,分别为model1和model2,当新来一个该圈定的同质人群流量,会分别输入到moedl1和model2分别得到p1和p2,p2-p1就是该用户流量的增益。

One-Model:与Two-Model最大的区别是训练是只用训练一个模型。同样首先圈定一个人群(同质人群),里面有被投放广告的,也有没有投放广告的,注意两个人群(投放广告与没有投放广告)的选取一定要有随机性。其中未投放广告的为对照组,投放广告的为实验组,把是否被广告干预当作一个特征输入到模型中,然后与用户信息以及上下文信息一起训练一个模型model,当新来一个该圈定的同质人群流量,会分别赋予该流量是否被广告干预特征T=0和T=1,和该广告流量对应的用户信息以及上下文信息一起输入到model中,得到p1和p2,p2-p1就是该用户流量的增益。

Modeling Uplift Directly:通过现有的模型内部进行深层次改造来直接刻画Uplift,目前研究较多的基于数模型的。通过对类似于数模型一样寻找分类特征来对刻画treatment组和control组转化率的差异来表示uplift。这种方法实现成本最大,需要进行大量的优化和改造。

下面重点介绍第二种One-Model模型,下图是关于One-Model的具体框图。

图中,A代表广告文信息,C代表上下文信息,U代表用户流量以及用户自身的信息。可以知道模型统一,保证了数据集的充足。这里最重要的一点是,干预当成了了一个特征,这样会带来另外一个便利,T可以等于2,3,...(虽然都是广告投放,但是可以是不同的广告投放手段),那么就会给模型的创建带来更大的便利以解决更多的实际场景。

4.增益模型评估方法

目前常用的增益模型评价方法有三种:Uplift柱状图,Qini曲线(AUUC),累计增益曲线。

Uplift柱状图

验证集中,分别将对照组(Control)和实验组(Treament)预测结果进行排序(按照预测的概率的高低),并分别划分十等份,对每等份内部求均值(预测概率求均值),然后对应等份相减,得到每等分的uplift值。

Qini曲线

Qini曲线,又称为AUUC曲线,也是将对照组(Control)和实验组(Treament)分别分成十份,分别计算对应等份的Qini值,计算方法为:对照组和实验组中最终预测为1的用户分别除以总用户,然后相减,得到该等份的Qini值,具体的公式如下:

其中

是第t等份输出为1的用户,

表示对照组和用户组的总人数,十等份,计算出十个点,绘制折线图。(注:这里也可以划分更多的等份,这样曲线绘制更精确),折现图如下:

图中的折线图为Qini曲线,曲线为random曲线,两条曲线之间的面积即为AUUC。

累计增益曲线

累计增益曲线是Qini曲线的补充和改进,具体公式如下:

其中,

分别表示第k等份的总流量。累积增益的分母是该k等份的实验组或对照组人数,并且乘以了

作为全局系数,避免因对照组和实验组数据不均匀带来的指标评估失效。

注:当实验室组和对照组流量数据不均匀时,分两种情况讨论:一是如果数据量本身不大,再加上实验室组和对照组数据分布不均,则其中一组数据必然很少,这样再将每组进行十等份,每组的数据就更少,计算比例是会有很强的随机性,使整个评估指标失效。二是如果数据量本身很大,即使分布不均,两个组的数据量分别还是很大,由于都是计算比例,所以计算结果还是可靠的。

5.具体业务的抽象问题并建模

基于增益的问题,可以把增益问题抽象为两层,外是规划问题,内层是求解增益问题。

其中外层抽象为以下问题:

其中

表示是否赢得第i个流量,

表示第i个流量的增益,

表示第i个流量的赢价,

表示第i个流量的预估点击率,B/C分别表示预算以及CPC限制。外层问题为在预算以及CPC限制下获取最大增益的问题。

内层是计算每个流量的增益,如下图所示

图中横坐标表示每个流量,纵坐标表示增益。

最终的解决思路是,在每个流量增益已知的情况下,在预算以及CPC的限制下,求流量的最大增益和。而不是哪个流量增益大就投哪个流量,这是在没有限制条件的情况下。我们的目的是在B/C在设置条件下,寻找最大的增益和。

auuc 评估指标_广告中增益模型理解相关推荐

  1. auuc 评估指标_分类之性能评估指标

    本文主要介绍几种常用的用于分类的性能评估指标,同时介绍如何绘制ROC曲线以及计算AUC值的便捷方法.最后再附上一个绘制ROC曲线和计算AUC的Python源码实现. Precision和Recall ...

  2. auuc 评估指标_机器学习性能评估指标汇总

    跑完分类模型(Logistic回归.决策树.神经网络等),我们经常面对一大堆模型评估的报表和指标,如ACC.ROC.AUC等,对以上提到的各个评估指标逐一点评,并力图表明: 指标分类 学习分类 性能指 ...

  3. kmeans及模型评估指标_模型评估常用指标

    一. ROC曲线和AUC值 在逻辑回归.随机森林.GBDT.XGBoost这些模型中,模型训练完成之后,每个样本都会获得对应的两个概率值,一个是样本为正样本的概率,一个是样本为负样本的概率.把每个样本 ...

  4. kmeans及模型评估指标_聚类分析的过程和两个常用的聚类算法

    聚类分析过程 一般聚类分析的数据源是需要相对干净的,即需要做统一的特征清洗.特征变换过程,即空值.非法值.异常值.类别变量等的处理.主要过程如下: 数据采集:我们可以认为是统一的ETL过程,这里涉及埋 ...

  5. kmeans及模型评估指标_机器学习模型评估指标总结

    常用机器学习算法包括分类.回归.聚类等几大类型,以下针对不同模型总结其评估指标 一.分类模型 常见的分类模型包括:逻辑回归.决策树.朴素贝叶斯.SVM.神经网络等,模型评估指标包括以下几种: (1)二 ...

  6. 评估指标_供应链改进常用评估指标

    供应链改善项目大部分是基于供应链SCOR模型开展,在SCOR模型中,涉及到分销.计划.采购.制造.配送.退货等功能环节.而供应链的改善核心内容是流程的优化.规则的确定,最终体现在两大目标:" ...

  7. ner 评估指标_序列标注算法评估模块 seqeval 的使用

    在NLP中,序列标注算法是常见的深度学习模型,但是,对于序列标注算法的评估,我们真的熟悉吗? 在本文中,笔者将会序列标注算法的模型效果评估方法和seqeval的使用. 序列标注算法的模型效果评估 在序 ...

  8. 评估指标_机器学习评估方法与评估指标总结

    离线评估方法 离线评估的基本原理是在离线环境中,将数据集划分为"训练集"和"测试集",用"训练集"训练模型,用"测试集" ...

  9. kmeans及模型评估指标_基于K-MEANS聚类模型和RFM价值分类模型的订单交易用户价值分析...

    用户数据化运营是互联网运营工作必备工作之一,且产品的生存必须有用户.而会员价价值度是用来评估用户的价值情况,是区分会员价值的重要性模型和参考依据,也是衡量不同营销效果的关键指标之一,我们可以通过复购率 ...

最新文章

  1. 30天自制操作系统 pdf_30天自制操作系统:第四天:系统界面绘制
  2. C++ Prime:sizeof运算符
  3. Java限流之 —— Nginx限流
  4. android 断点续录,android 录音的断点续传
  5. 微课|《Python编程基础与案例集锦(中学版)》第2章(2)
  6. 微信开发者接入php,微信开发系之新手接入指南
  7. bzoj 1655: [Usaco2006 Jan] Dollar Dayz 奶牛商店(高精度完全背包)
  8. 转~ubuntu的一些常用软件
  9. 建立微带天线阵列与散射仿真
  10. java jmail_jmail和javamail的区别
  11. 假设检验的一般步骤(t检验/z检验)
  12. QQ现状深度剖析:你还认为QQ已经被微信打败了吗?
  13. 送人玫瑰,手有余香!
  14. MySQL8.0 - 新特性 - Descending Index 1
  15. 知到python课程答案-智慧树知到APPPython数据分析与数据可视化网课答案
  16. c语言浮点数如何精确计算,浮点数精确运算的分析和解决办法
  17. 未授权访问漏洞原理及复现
  18. 云集微店亿级交易额下的Order子系统架构演变
  19. linux上namd使用教程,NAMD入门教程(三)[共28页].pdf
  20. BatchNorm和LayerNorm的比较

热门文章

  1. Simulink代码生成: 延时模块及其代码
  2. C++使用ICE实现两台主机通信实例
  3. java xml 节点换行_Winform中对xml文件进行保存时空白节点自动换行问题的解决
  4. python 求函数最大值_遗传算法与Python图解
  5. python第三方库文件传输助手_python实现文件助手中查看微信撤回消息
  6. 最值得阅读学习的 10 个 C 语言开源项目代码
  7. vue-router之路由属性配置说明(十)
  8. apache配置CA证书通过https通信
  9. putty连接虚拟fedaro失败的解决方法
  10. 如何为从1到10万用户的应用程序,设计不同的扩展方案?