今天分享的是阿里在SIGIR2022中稿的一篇短文，主要关注点在于对广告推荐链路中精排阶段和创意优选阶段的优化，一起来看一下。

1、背景

广告系统中，创意（如标题和图片）包含了丰富的产品信息，能够帮助用户快速了解产品。相同的广告通常情况下有不同的创意，如下图所示，但不同创意的CTR可能有较大的差别，有的用户可能偏好于带促销信息的图片，而有的用户偏好于简明的图片风格。因此基于用户的不同偏好，选择合适的广告创意展现给用户，对于广告系统来说是十分重要的一环。

现有的广告推荐系统，为了平衡效果和性能，大都数采用串行多阶段的架构，包括广告召回、广告精排阶段。精排阶段是重点优化的部分，往往通过复杂的模型结构对效果进行优化。出于计算复杂度的考虑，精排阶段往往无法将所有的候选创意都考虑在内，假设每个广告有3个候选创意，计算所有创意对应的CTR会使QPS增长为3倍，因此大多选择随机的创意或者统计CTR最高的创意作为精排阶段的输入。在精排阶段之后，再对每个广告选择合适的创意进行展示。这种架构下，精排阶段输入的并非最终展示的创意，因此创意对于排序的影响是比较小的，对于效果会有一定的影响。

打开收益空间上限的一种理想的优化方式是将创意前置，如放在召回和精排中间，在精排前首先为每个广告选择合适的创意，再进行精排CTR的预估。但这种方式仍然存在以下两方面的挑战：
1）从效率上：多个广告创意的预估计算量级会显著的提升，如何解决创意优选前置带来的耗时问题？
2）从效果上：大部分的广告创意没有得到足够的曝光，在数据稀疏的情况下，如何提升创意选择的准确性？

为了解决效率和效果两方面的问题，论文提出了Cascade Architecture of Creative Selection (CACS)的框架，将创意优选和精排预估做了良好的联动，一起来看一下。

2、CACS架构介绍

2.1 整体架构

CACS架构如下图所示：

相较于现有的大多数框架，CACS将创意选择前置到精排之前，首先进行广告内部的创意选择，再进行广告间的CTR排序。在创意选择过程中，首先，引入双塔结构，有效控制创意阶段的耗时，其次，引入蒸馏学习，来重点学习创意的优先顺序而非准确的CTR预估值，同时也可以在一定程度上减小模型的大小，减少耗时，最后，通过自适应的dropout网络，来学习创意的多模态信息表示，通过多模态的side-information来减少创意没有足够曝光所带来的影响。接下来，对这两部分的具体结构进行介绍。

2.2 List-wise Ranking Distillation

在创意优选阶段，重点是预估准确的创意之间的序关系，而非准确的CTR预估值， 因此论文提出了List-wise Ranking Distillation方法，引入精排阶段的模型进行蒸馏学习。

在loss设计上，并非直接学习精排模型给出的CTR值，而是通过交叉熵损失，使得创意选择模型给出的top1的创意和精排模型给出的top1的创意尽可能接近。具体来说，假设创意优选模型计算的score为{s₁,s₂,...,s_m}，精排模型给出的score为{y₁,y₂,...,y_m}。假设第i个创意为精排给出的top1的创意，那么loss计算如下：

2.3 Adaptive Dropout Network

由于大多数创意没有足够的展示，因此仅仅使用ID特征会面临数据稀疏的问题，很多ID对应的Embedding无法进行充分的学习，因此在输入特征上，引入了标题、图片等多模态的side-information。并通过CNN和Bert等对图像和文本信息进行处理。不同用户对于不同模态的信息关注程度不同，进一步引入Attention机制来对用户的模态信息偏好进行建模。

另一方面，为了减少ID特征对于最终结果的影响，论文提出了自适应的Dropout网络，基于ID对应的曝光量自适应计算Dropout的比例，如果曝光次数越多，ID学习越充分，此时可以更多依赖ID信息来进行预测，dropout的比例可以适当减少，反之增加，过滤比例计算如下：

基于每个创意的dropout比例，通过伯努利分布计算得到对应的mask，再乘上相应的系数保证训练和预测阶段的分布一致：

论文的基本思路就介绍到这里，接下来看一下实验结果。

3、实验结果

论文的实验结果分离线和在线两部分。首先来看下离线部分，离线实验主要关注创意选择方法的准确性，结果如下：

线上部分主要关注CACS架构和无创意优选模块以及传统创意选择架构的对比，关注效果和耗时两方面，结果如下：

好了，论文就介绍到这里，感兴趣的同学可以阅读原文～