广告流量分析之评价指标的选择(一)

上一篇文章主要聊了下《转化率模型之转化数据延迟》，今天我们将开启一个新的系列，广告流量分析之评价指标的选择。在平时做AB实验的时候，我们常常遇到一种奇怪的现象“线上效果与线下的分析结论不一致”，为什么会存在这种现象呢，这里通过几个实际案例和大家具体聊聊。

案例一：转化率评价（需要明确自己的关注目标）

我们都知道，转化率（转化数/点击数）是评价广告主转化的一种指标。

在实验过程中，经常会遇到整体转化率上涨，而对应每个广告主的转化率下降的现象。具体看一个例子：

	对照组			实验组
	点击数	转化数	转化率	点击数	转化数	转化率
广告主1	300	30	10%	200	18	9%
广告主2	300	60	20%	200	36	18%
广告主3	300	90	30%	500	135	27%
总计	900	180	20%	900	189	21%

这里的三个广告实验组转化率都比对照组转化率低，但是，根据简单的加和方法算出来的CVR却是实验组高于对照组。不同角色对于这个问题会有不同的看法，作为广告算法工程师，从整体看转化率上涨，实验组效果ok，抓紧上这个新策略；作为单个的广告主，转化率下降，这个策略赶紧下掉。所以究竟这个策略是去还是留呢？

这就是著名的辛普森悖论，它是英国统计学家辛普森与1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。为了避免辛普森悖论，MH方法被引入进来，用来计算转化指标。其中MH-CVR的计算方法如下。

假设有n个广告，对照组点击数为clickc1，clickc2，clickc3，…… ，clickcn，转化数为conversionc1，conversionc2，conversionc3，…… ，conversioncn，实验组点击数为clicke1，clicke2，clicke3，…… ，clicken，转化数为conversione1，conversione2，conversione3，…… ，conversionen

从公式中我们也可以看出MH指标结果是一个比值，小于1.0表示负向，大于1.0表示正向。根据这个公式，可以计算出上面这个例子的MH-CVR值为0.9<1.0，表明转化率是负向的。

因此对于流量的整体转化率，要选择MH方法计算，而不是直接sum(转化数)/sum(点击数)来计算。

看到这里，大家一定会有一个疑问，为什么MH转化指标比整体加和指标更合理？上面简单的提到，引入MH转化指标是为了避免辛普森悖论。但是，进一步问题是，为什么辛普森悖论在这里是需要避免的? 具体到上面的例子，为什么按照简单加和计算出CVR增加的结果是不合理的，而按照MH方法计算出的MH CVR减少的结果是合理的？

而要理解这里的问题，就需要先理解转化目标的目的和特点。

转化指标的主要目的是评价广告主的效果在实验里是变好还是变坏了，这是面向广告主的指标。有这个目的就决定了评价指标应该与大部分广告主或者广告的变化趋势一致，在变化幅度相当的情况下，如果大部分广告主或者广告效果变差，小部分广告主或者广告效果变好，则指标应该负向，反之，指标应该正向。根据这个原则，可以看出原有简单加和转化指标可能出现趋势与大部分广告主效果不一致的情况，是不合理的。

而转化指标的特点是，不同广告主转化价值的差异很大，有的广告主把下载激活应用，注册帐号定义为转化，有的广告主把购买商品定义为转化，而商品价格还可以千差万别，这样，一个转化对于广告主的价值可以有非常大的差异。而简单加和计算方式把各种转化同等对待，都简单加到分子里，是不合理的。

广告流量分析之评价指标（一）的转化率指标就讲到这里了，下一篇咱们主要讲讲ctr以及oCPA指标。

欢迎大家关注计算广告那些事儿哈，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！

广告流量分析之评价指标的选择(一)相关推荐

广告流量分析之评价指标的选择(二)
接上文<广告流量分析之评价指标的选择(一)>今天我们聊聊ctr指标与oCPA指标. 案例二:CTR预估评价(分清指标所处的阶段) 做广告算法的同学应该都熟悉CTR预估的概念,计算广告预估曝 ...
原创 | 电视广告流量预测中的“常识”陷阱，你掉进去了吗？
作者:李旭本文约5000字,建议阅读9分钟本文对全美电视广告流量预测的算法与业务经验进行总结. 企业中的人工智能算法工程师通常在解决任务前会根据自己的业务"常识",给予模型一定 ...
转化关系模型外键_网站数据分析：流量运营分析模型拯救你的广告流量
点击上方蓝色字关注我们~ 来源:掘金本章的分析模型围绕流量数据化运营展开,主要包括:流量波动检测.渠道特征聚类.广告整合传播模型.流量预测模型. 1 流量波动检测在广告流量结构中,有几类流量是相对 ...
互联网运营数据分析（1）：流量分析
数据分析也是为了公司的发展,粗暴一点讲,是为了公司的盈利和持续的盈利.就从这个角度,来逐一分解,互联网行业中,哪些数据需要分析,怎样分析,分析的价值是什么.我会整体分为四大部分:收入相关的数据分析.成 ...
技术博客|第8期:广告流量匹配算法在Hulu/Disney Streaming平台的实战
2022年第008篇订单优先级保量广告订单按照订单类型.单价.广告主的不同会被切分为从高到低不少于十个优先级.当流量不足以满足所有订单目标需求的情况下,需要首先保证高优先级的订单可以满足投放需求. ...
广告流量反作弊风控中的模型应用
作者:vivo 互联网安全团队- Duan Yunxin 商业化广告流量变现,媒体侧和广告主侧的作弊现象严重,损害各方的利益,基于策略和算法模型的业务风控,有效保证各方的利益:算法模型可有效识别策略无 ...
!=会命中索引么_真是命中！通过流量分析衡量成功
!=会命中索引么 One of the most important aspects of Website management is traffic analysis. If you don't k ...
网络分流器-网络分流器TAP网络流量分析
戎腾网络分流器作为网络安全领域网络监控前端重要基础装备! 今天讲讲网络分流器的具体使用方面情况介绍! 网络流量分析移动互联网信令采集,用户关联成功率达99%,最大支持4800万用户,支持160个10 ...
为什么新产品没热度，流量分析
很多人反馈新产品上线之后却没有多少热度,这究竟是什么样原因呢?今天来为大家分享下为什么新产品没热度,流量分析. 新产品没有热度其实可以从两个主要方面进行探讨: 一.主观原因 1.缺乏吸引消费者的独特卖 ...

广告流量分析之评价指标的选择(一)

广告流量分析之评价指标的选择(一)相关推荐

最新文章

热门文章