丨目录：

· 背景

· 价值衡量体系建设

· 模型技术探索

· 总结&展望

· 参考文献

▐ 背景

阿里妈妈品牌广告通过高品质的展示资源位为广告主提供优质营销服务，帮助广告主提升其在客群中的品牌心智，从而降低拉新复购成本，提升品牌影响力，增强市场竞争力。对于品牌广告投放，广告主除了对于曝光保量的诉求，也越来越关注投放效果的提升。从用户视角，用户对于不同广告的偏好程度存在差异，通过价值衡量可以为用户投放其感兴趣的广告，可以进一步提升消费者广告体验；从广告主视角，不同流量对于广告主的互动价值存在差异，所以可以在保量基础上尽可能将高价值的流量分配给对应的广告主，也间接促进了广告平台的良性发展。

▐ 价值衡量体系建设

我们从品牌广告基础价值出发，进行了流量价值衡量体系建设，逐步构建了多方位的品牌价值衡量方式和价值衡量模型。品牌广告价值衡量建设从最初的即时价值CTR逐步进行拓展，一方面以深度价值CVR进行延伸，另一方面以增量价值Uplift进行延伸，分别在深度价值CVR和增量价值Uplift方向进行了一系列探索工作。

即时价值CTR和深度价值CVR本质是相关关系建模，而增量价值Uplift实际上是从因果的视角进行刻画，对于广告业务来说，Uplift刻画的是广告投放为广告主带来的增量价值，对于同质性具有极高的要求。我们在实际应用场景为了保证Lift同质性，采用了对用户和广告主进行联合Hash分组的策略，但生产环境由于请求展现率问题仍难保证同质性，需要进行特别处理，相应的我们也总结沉淀了针对曝光偏差（同质性）的Uplift建模探索工作。

深度价值建模

在深度价值CVR建模方面，我们构建了面向淘外品牌广告的CVR价值模型。针对正负样本比例悬殊问题，模型目标上利用了Focal Loss和Weighted Cross-Entropy Loss；针对CVR延迟反馈问题进行了深入探索，一般情况加购下单等行为的决策周期较长，具有明显的延迟反馈特点，这就需要在样本实时性和标签置信度之间进行tradeoff。我们重点是对短周期观测结果的充分利用，通过概率分解的方式将短周期观测转化概率进行概率乘积转换，可观测的短周期转化概率可以表示为：

402 Payment Required

其中，表示全周期转化概率，表示全周期转化的基础上在观测周期可观测到转化结果的概率。在模型结构上，采用DNN网络分别拟合和，网络结构如下图所示。

基于以上概率分解公式，我们主要从如下几个方面加强模型的学习能力和泛化能力。

（1）分阶段训练：第一阶段进行全周期转化联合训练，分别对全周期转化和短周期观测转化进行监督学习，在Embedding层进行参数共享，目的是获取和；第二阶段只能获取短周期观测转化结果，核心思路是采用第一阶段获取的，利用进行短周期观测结果的监督学习，以达到通过短周期观测结果来辅助全周期转化目标学习的目的。同时在第二阶段为了防止被带偏，需要将其进行固化，为了增强网络的稳定性，加入了Embedding正则约束。

（2）多专家结构：网络核心作用是提供全周期转化到短周期观测结果的转换，那么网络稳定性就至关重要，需要其具有较强的泛化能力。对于延迟反馈问题，主要是由于两方面影响导致的，一方面用户本身决策周期长（消费敏感等），另一方面商品属性导致决策周期长（决策成本高等）。基于以上考虑，我们将特征根据泛化能力进行分组，然后为每个特征组分别设计独立的专家结构，用于特征组内信息的充分提取；同时增加全特征的专家结构，用于全局特征的信息提取。

（3）多目标结构：通过多任务的方式充分利用中间标签进行监督学习。对于中间标签的选取，并非越多越好，同时采用转化占比选取标签的方法效果更优。

基于以上整体模型设计，我们进行了长时间的线上对比实验，7天延迟转化整体+4.0%，超级风暴+4.7%，优酷+3.4%。相关工作论文已经发表在 ICDM 2021，具体细节可进一步查阅MMDFM[1]。

增量价值建模

增量价值建模部分主要围绕Uplift建模进行探索。在实际的业务中，通常通过对流量进行打标（Control组/Treatment组）来收集Uplift样本，进而构建Uplift Model，但实际情况中并不是所有的Treatment组请求都能够被成功曝光，而我们需要衡量的是广告曝光后能够带来的效果增益。以互动城场景为例，在请求到一跳广告曝光展示过程中会有14%的损失。

一方面，我们基于全量样本利用的考虑，引入曝光率构建请求到曝光转化关系，具体工作详见已发表论文EEUEN[2] ；另一方面采用Treatment标记且曝光的数据，从同质性本身出发，利用生成式对抗网络（GAN）的思想进行设计。

GAN受启发于零和博弈理论，以对抗训练的思想生成高质量的样本，让通过生成网络G生成的图像尽可能不能被判别网络D所分辨。而对应Uplift建模场景，对于实验Treatment组和Control需要进行同质性约束，虽然按照随机分组能够基本上保证Treatment组和Control分组同质性，但是在实际的广告请求曝光过程中，Treatment标记的请求未必能够成功曝光，最初的想法是希望加入同质性约束损失函数，同时也借鉴了GANITE[3]的工作。

将同质性差异作为惩罚项纳入模型，加强同质性约束。采用对抗学习的方法，一方面尽可能让判别网络D分不清生成网络G的结果来源于Control组还是Treatment组，同时Embedding层面也要接入判别网络进行判断（约束样本同质性），另一方面，尽可能优化生成网络G，使得其生成的结果尽可能接近真实的结果。

模型结构上主要包括生成网络G和判别网络D，生成网络G输入是所有特征，输出部分利用T/C二值性通过信号进行转换，即：

生成网络G最终监督学习的目标为业务转化目标，其目标函数如下：

402 Payment Required

判别网络D的输入部分是，，其监督目标是判断输入是否来源于Treatment组，即。其目标函数如下：

在生成网络G的基础上增加同质性判别约束，值越大说明判别同质性越差，最终的综合目标函如下：

相比较原生成网络G，经实验基于GAN方式构建网络的QINI指标相对提升+4.9%。基于真实结果和生成网络G生产的结果作为新目标Label进行新网络训练，对于新网络一部分是真实的结果Label，一部分是生成网络G反事实推理的结果。

最终通过交叉熵损失函数进行监督学习，最终的目标函数则为：

402 Payment Required

固定生成网络G的参数和Embedding，网络基于GAN生成网络的Embedding进行初始化并进行学习，提升学习效率，QINI相对提升+12.5%。关于增量Uplift建模我们对同质性问题进行了进一步的探索，以同质性约束损失的方式来增强模型性能，但仍还有很多问题需要进一步研究。在应用方面除了广告投放增量价值衡量以外，未来在权益发放也是一个重点发力方向。

互动价值建模

在互动城价值建模方面，互动场景不同于淘内其他主流广告形式，其以任务激励驱动用户进行广告互动，由于任务激励的存在导致用户行为存在噪声，对于目标选取至关重要（目标决定了模型学习的方向），经过业务的深刻理解和数据分析，我们提出了深度访问率模型，主要考虑剔除任务激励影响，重点针对用户主动兴趣行为，构建了以二次店铺访问为主要目标的深度访问率模型，在二次店铺访问率、深度互动率、店内停留时长都有明显提升。在模型优化上主要以多维用户序列表征和用户UID表征为主，在双十一期间，互动价值建模结合分配策略（分配策略详见：双11技术分享 | “喵糖”背后的商业化流量投放算法，二次店铺访问率、深度互动率等指标都有显著增长。互动场景结合新的玩法以及新营销价值探索仍是后续重点发力的方向。

▐ 模型技术探索

模型技术一直是搜广推业务深耕的算法技术领域，也涌现出大量算法创新工作。针对价值建模技术，我们主要从两方面着手进行探索深耕，一方面是底层特征表征层面，特征决定了模型上限，特征对于模型效果的提升至关重要，具体来说包括用户多维行为序列的高效表征、特征的高效交叉、特征的场景自适应等；另一方面是上层网络，针对不同的场景能够通过个性化网络进行学习。核心思路是将先验知识融入到特征、样本、网络结构、目标函数等各个环节，加速模型收敛，提升模型效果。 正如Google在DCN V2[6]论文里所提到“People generally consider DNNs as universal function approximators, that could potentially learn all kinds of feature interactions . However, recent studies found that DNNs are inefficient to even approximately model 2nd or 3rd-order feature crosses.”，DNN虽然具备较强的拟合能力，但却没有想象的那么强，将先验知识巧妙的融入到模型是非常必要的，让模型学习的更快更好，快速捕捉到关键信号，而不是一股脑都交给DNN让其慢慢探索。

多维序列表征

用户行为兴趣序列的应用是模型提效非常重要的技术手段之一，也涌现出大量算法创新工作，如DIN[4]、DIEN[5]等。尤其在淘内场景有非常丰富的行为序列信息，比如点击、收藏、加购等。目前主流序列应用方式是通过对点击序列进行Attention/GRU等提取关键兴趣信息，但未考虑点击发生的时间、空间、行为深度等信息。而用户在不同时间、空间的点击等行为是存在差异的，只使用单维度行为序列在不考虑上下文时空信息的情况下实际上是有偏差的。例如：同是点击行为，停留时间差异背后也一定度上体现了兴趣差异，有些是点击闪退，有些则是点击深度浏览。

对此，我们通过在时间维度（周、time_position等）、空间维度（发生的资源位）、行为深度（时长）等形成多维序列表征。从模型视角，特征以及特征利用决定了模型上限，多维序列表征利用十分重要，核心思路是对主序列进行加权处理，将其他多维度序列信息抽象映射成主序列weight。其形式化表示如下所示。

402 Payment Required

其中，为行为序列（比如品牌点击序列）的第个行为项的Embedding向量，为用户第个行为时的side信息的Embedding向量，比如停留时长。其中为一个前向网络，将side信息映射成权重，最终对行为进行加权求和。通过采用停留时长对品牌点击序列进行加权，AUC提升0.13%。未来对于多维序列的表征方式仍是值得重点探索的方向。

用户UID表征

在建模过程中，用户UID是用户信息最直接的表征方式，对于UID的充分利用可以显著提升模型效果。但用户UID信息纳入需要保证整体样本分布中UID出现较高的频次（充分学习），同时需要人群相对稳定（泛化能力）。在超级互动城商业化场景，由于其以任务激励的方式引导用户进行广告任务互动，这种业务特性决定了用户互动频次较高，具有较强的吸引力，同时用户天间重复领取任务占比较大。这两方面决定了互动商业化场景可以充分利用UID表征。

基于以上思考，我们在超级互动场景价值建模过程中利用了UID表征，直接将UID表征纳入，AUC显著提升0.24%，但模型大小会显著增加（增加一倍），主要是由于UID的数量较多导致模型整体Embedding存储增大。针对这个问题我们进行了UID空间降维的处理，核心思路是几个人或几十个人共用同一个UID表征，UID聚合表征人群的特性，也可以在一定程度上缓解新用户的冷启动问题。在实现上将UID进行HASH分桶来达到UID空间降维的目的，具体实验如下图所示。

通过纳入UID HASH可以显著提升模型性能，AUC提升0.22%；UID HASH粒度越细，提升效果越明显；虽然与UID直接表征相差0.02%，但模型大小大幅降低。基于互动商业化的特性，UID表征降维和群体聚合精细化表征还需进一步深入探索。同时我们在淘外品牌（超级风暴）进行相同的实验，效果不明显，分析背后原因是由于超级风暴单个用户触达的平均广告数较少，对于UID表征学习不充分，还是需要泛化能力强的特征来辅助表征。

▐ 总结&展望

品牌广告价值建模是品牌广告算法的核心技术方向，承载着品牌广告新营销价值的探索工作，是支撑品牌广告投放的关键部分。我们在初期即时价值CTR的基础上进一步拓展了深度价值CVR和增量价值Uplift，同时分别在深度价值和增量价值进行了深度探索，特别是针对延迟反馈问题进行了一系列创新工作，形成了MMDFM建模方案。在模型技术方面，主要针对表征技术进行探索，在多维序列表征和UID表征等方面都取得一定的效果收益，同时针对品牌业务中涉及的多场景问题也是我们重点投入的模型优化方向。接下来的工作中，整体上仍会以将先验知识融入到特征、样本、网络结构、目标函数等各个环节为核心，加速模型收敛，不断提升模型预估精度。

参考文献

[1] Y. Hou, G. Zhao, C. Liu, Z. Zu and X. Zhu, "Conversion Prediction with Delayed Feedback: A Multi-task Learning Approach," 2021 IEEE International Conference on Data Mining (ICDM), 2021, pp. 191-199, doi: 10.1109/ICDM51629.2021.00029.

[2] W. Ke, C. Liu, X. Shi, Y. Dai, P. S. Yu and X. Zhu, "Addressing Exposure Bias in Uplift Modeling for Large-scale Online Advertising," 2021 IEEE International Conference on Data Mining (ICDM), 2021, pp. 1156-1161, doi: 10.1109/ICDM51629.2021.00138.

[3] Yoon J, Jordon J, Van Der Schaar M. GANITE: Estimation of individualized treatment effects using generative adversarial nets[C]//International Conference on Learning Representations. 2018.

[4] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction [C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1059-1068.

[5] Zhou, G. , et al. "Deep Interest Evolution Network for Click-Through Rate Prediction." Proceedings of the AAAI Conference on Artificial Intelligence 33(2019):5941-5948.

[6] Wang R, Shivanna R, Cheng D, et al. DCN V2: Improved deep & cross network and practical lessons for web-scale learning to rank systems[C]//Proceedings of the Web Conference 2021. 2021: 1785-1797.

END

也许你还想看

丨双11技术分享 | “喵糖”背后的商业化流量投放算法

丨WSDM 2022 | 合约广告自适应统一分配框架

欢迎关注「阿里妈妈技术」，了解更多~

疯狂暗示↓↓↓↓↓↓↓