作者·黄崇远

『数据虫巢』

全文共4348字

题图ssyer.com

“ 效果广告后定向时代，虽有千般万难，我们一样还得解决定向智能的问题。”

需要提前说明的是，这一篇会涉及到本系列之前聊过的不少相关话题，可能需要一定的前置了解，才更好的对于本篇文章需要解决的问题做好的理解。

01

效果广告后定向时代

我们在上上一篇《数据与广告系列二十四：效果广告后定向时代如何逆流而上》中，有几个观点需要重新申明一下，偏于我们后续内容的开展。

• 效果广告的oCPX状态是一个中间过渡状态，一个广告平台与广告主相互妥协的一种“临时”解决方案。

• 目前应该说绝大部分不管是主流还是非主流的广告平台，都还做不到真正的CPA预估，当然广告主也大部分不愿为单纯的CPC买单。

• 基于oCPX为主流的投放模式中，使用定向的情况下其大部分时候效果会优于不做任何限制的oCPX投放。

所以，我们在上上一篇中提出的逻辑就是，智能定向加智能拓量的逻辑，智能定向解决初始流量精准圈选以及快速累积oCPX一阶段所需转化的问题，拓量来解决oCPX探测流量边界的问题。

这样，即解决了初始效果的保证，又解决了oCPX的流量边界，不用过于担心pCVR模型探测流量的范围受限，又提供了一个较好的冷启动逻辑和平滑的流量扩展逻辑。

在《数据与广告系列二十：oCPX大势下标签定向的发展演化》一文中，我们有提到过，oCPX大势所趋之下，并不是说要直接舍去掉用了“大半辈子”的定向，而是不断的探索更好的一些解决思路。

其中系列第二十所提供的一些思路，例如标签定向的目标与oCPX转化目标保持预估的一致，其次是标签定向尽量扩大范围不影响oCPX的流量边界等等，或者使用父子级标签逻辑，即冷启动一阶段时期采用更为精准的子标签，当进入二阶段之后采用泛精准的父标签。

这些都是思路，而我们在第二十四篇《数据与广告系列二十四：效果广告后定向时代如何逆流而上》提到的更具有针对性的解决方案就是智能定向加智能拓量的逻辑。

其中，在第十四篇《数据与广告系列十四：智能定向&基于FM的标签组合推荐思路》提到的一种给广告主推荐标签的思路就是从标签组合的角度去思考，并且基于FM的中间输出结果隐向量的方式，去计算标签与标签的相关关系。

对于拓量，我们在第二十二篇《数据与广告系列二十二：智能化投放中扩量场景的技术实现策略》中有提到三种解决方案。

• 基于标签推荐的方案，即不断的扩大广告适合的标签范围。

• 标签个数是固定的，但是标签对应的兴趣人群是可以扩展的，比如先给精准的人群，逐步开放泛精准的对应标签人群。

• 业内相对通用的做法，即做USER颗粒度的AD*USER的双塔召回。

正上面三个图刚好映射三种解决思路，其中最后一种是业内比较通用的做法，并且在模型层面由于需要最终做双塔embedding的召回，所以在模型层面可以折腾的空间略微小一点，变化不会太多。

所以，我们的重点不在于拓量，而在于如何解决oCPX冷启动，即初始投放。按上上篇的思路就是给广告主推荐标签。

关键在于，如何推荐？

02

智能定向的技术基础与当前问题

《数据与广告系列十四：智能定向&基于FM的标签组合推荐思路》是一种解决思路，但终究不是正道，虽然我们在进行FM训练的时候，已经把广告*TAG的关系直接映射到目标构建中去，但是我们最终寻找的应该是广告->TAG的关系，而不是TAG*TAG的关系。

所以，这种思路终究只是一种从定向组合的角度思考的逻辑，而不是直接的问题解决逻辑。

那么，既然要找广告与TAG的关系，那么我们就直接对广告和TAG建模，例如，将广告对应于历史选择的TAG相关数据拿出来，然后区分什么是投放的好的，什么是投放的不好的。

这样，正负样本就出来了，按分类的思路去构建模型，最终直接预测每个广告对应于N个TAG的概率，或者有N个TAG就上N个类别的多分类，最终决定每个广告对于TAG的偏好概率。

看着没啥大问题，有什么问题就针对性的构建什么模型，获取什么目标。

但是，这种建模思路会有以下几个非常难以解决的问题。

• 第一，广告*TAG的数据非常稀疏，即很多广告主不使用标签定向，或者本身就算使用，但是按广告颗粒度，全体样本能有多少。

• 第二，单个兴趣TAG对应的人群颗粒度是非常大的，大的数千万，小的人群数百万数十万，所以直接去做预估，人群对于不同的广告效果比较难量化。

• 第三，说到效果量化，如果构建广告*TAG的效果，样本切分是个大麻烦，所谓效果那么就是TAG人群对应于广告的转化率或者其他效果指标，但是不同广告实际上其转化率达标率是不同的，但TAG人群是大颗粒度人群，非常难以做样本正负的切割。

综上，直接走广告*TAG建模的路子，不是不可以，只是说预期的效果是有限的，数据稀疏的问题很难解决，以上DNN为例，估计能凑个几十万个样本数据就已经很困难了，完全不符合深度学习时代“堆数据制胜”的风格嘛。

03

知识迁移的Embedding应用于智能化定向

解决上述问题，先回到广告建模的本身上，广告最多的交互数据是什么？

毫无疑问，是广告*USER的交互数据，这个数据随随便便什么大厂二厂，一天都能给你几亿几十亿的交互数据。接下来思考的问题就是，能不能从几亿几十亿的广告*USER交互数据中寻找广告*TAG的关系？

广告需要用到TAG定向，用户身上带有兴趣TAG，那么是否可以通过对广告*USER进行建模，然后获取到广告与TAG的关系？对于广告*USER建模，这条路子我们已经轻车熟路了，就算你不熟，网上关于CTR/CVR预估的内容一大坨，论文也随便看，关键在于如何将广告*USER的转化预估知识，迁移到广告*TAG身上。

上《数据与广告系列二十五：Embedding的起源与演化，以及序列构建与目标拟合派的流派之争》，最后一部分，embedding进化的高阶段位“以大博小，知识的迁移，伪双塔”，其中提到了好几种利用丰富数据今昔那个embedding知识迁移的逻辑。

现在知道了笔者（公众号：数据虫巢 ID：blogchong）为何花巨大的代价洋洋洒洒写了近一万字的内容，写embedding的起源与演化逻辑，并一路写到embedding的高阶转换形态，稠密数据知识的迁移（那篇阅读量最低，甚为恼火呀）。

先上UTPM的论文原始结构图。

这个场景是微信看一看对于用户兴趣标签矫正或者说通过article打标的逻辑，即通过USER*Artikle的海量数据寻找USER*TAG的关系。

而我们的目标是，海量AD*USER寻找AD*TAG的关系，上我们的自己的改造结构图。

先不管标绿色的部分，我们直接看黑体和灰色的部分，原始论文中的Cross OP和Attention部分笔者先隐藏掉，在笔者认为场景解决方案中并不是重点，只是对于网络复杂度的一种微调而已，所以，我们的重点是看整体网络结构。

底层是AD的特征，以及整个AD的网络结构，右侧是USER，而USER的表征则通过用户身上带了若干个TAG，在Loss层，计算AD*USER的embedding内积，sigmod之后做为预估结果。其中样本是AD*USER点击/转化与否。

由于纵向的整个网络结构没有引入其他的特征，基本数都是AD的特征，所以在全连接层的顶部，其embedding可以很好的表征AD，而用户则使用N个TAG的embedding作为表征，最终内积之后作为AD与USER的交互结果，通过样本的结果做反向传播，最终拟合好AD和TAG的各自embedding。

当训练结束之后，新鲜出炉的AD-embedding，TAG-embedding就可以拿出来直接用了。此时，AD与TAG的关系可以通过两者的Embedding直接计算，这可是通过了几百万（转化正样本跟负样本比是很少的，所以负样本欠采样的话，整体样本跟数亿还是有差距的，哈哈），几千万的样本数据Train出来的。

由于AD*USER的目标是用户点击或者转化与否，所以AD*TAG最终的embedding表征一定带有了点击或者转化倾向的分布。

至此，打完收工。

04

迭代与未来

真的能收工了吗？当然不能，在当前广告以及深度学习领域孜孜不“卷”的时代，怎么能不有点追求呢。

我们继续来聊优化，站在巨人（论文）的肩膀上，我们希望的是爬上别人的头顶，而不是满足于裆下。

看03部分中的那个我们改造之后的网络结构图，看绿色部分。

用户身上的兴趣应该是有不同兴趣程度之分的。

从专业常识的角度上说，由于USER是通过若干个TAG直接表征的，所以表征的合理性会影响拟合的结果，理论上用户身上对于不同的兴趣的程度是不同的，因此，这里是不是要加上用户对于不同兴趣程度的Attention呢？

TAG与TAG之间应该是存在彼此联系，且会相互影响的。

通过正常的计算逻辑，模型中对于TAG之间的关系影响是比较少的，但实际中一个人身上是带有若干个兴趣的，而兴趣与兴趣之间是存在真实关联关系的。

那么，如何更好的在模型中融入这种关系，使得最终在embedding分布拟合中体现出来呢？预训练。

你看，我们又把当前最潮流的embedding预训练的东西引入进来了，让embedding提前学习到彼此之间的关系，然后再微调去学习与AD的转化关系。

AD网络结构的持续优化

关于综上AD的网络结构优化，原始论文中提供了共享vector的双头Attentions，以及多值特征之间的Cross，以及特征域之间的Cross。笔者觉得就是正常的网络复杂化的操作啦，其实还有其他很多骚操作，随便你怎么折腾。

这部分最能体现的就是深度“炼丹”的行业之卷，怎么卷怎么来。

最后就是特征层的迭代以及样本的摸索迭代了，这块网络上太多讨论和研究的，这里笔者（公众号：数据虫巢）就不炒冷饭了，自己上各个顶会上以及各种深度学习专栏上去取经。

除了以上几个优化之外，还有什么问题需要我们持续深入思考？

第一，当前这个网络结构，跟我们上上面的双塔模型，是不是有点共通之处，只是说右侧的USER是通过N*TAG-embedding来表征，而不是单独的一个深度网络塔。

如果我们补充USER的特征呢？比如USER固有的属性，年龄性别等等，会对整个我们的目标产生什么影响。

在原始的逻辑中，我们逻辑是通过N*TAG来表征一个USER，原则上是不够准确的，因为一个人除了兴趣表征还有其他，典型如性别年龄。但是，如果加上去，实际上USER层的影响就被其他USER特征给分摊了，最终依然还是可以获取到TAG的embedding表征，但是与AD的转化关系就弱化了。

所以，本质上是一种平衡，到底我们是希望对于转化点击拟合的更好，还是说我们实际上目标是AD*TAG关系，显然我们的目标是后者。所以，我们要扣紧我们的目标，宁愿让模型把更多的注意力关注到对TAG-embedding的分布调整上，而不是加入更多USER特征分散目标函数对于TAG-embedding的调整力度。

关于平衡这个话题，其实在深度“炼丹”过程中，总是很多权衡，最终都是不同目标之间之前的权衡，无法面面俱到的，权衡是根据实际业务场景的一种艺术，也是我们“丹道”升华的炫技空间。

第二个问题，智能化定向除了点击/转化这个目标，还有没有其他目标需要考虑。例如，我们在做广告排序的时候，很多时候是考虑多目标的，CTR/CVR两不误。

这里我们除了也要考虑CTR/CVR，广告主的成本要不要考虑，如果考虑，在模型技术层面如何考虑？

这里我们就不给答案了，留给读者朋友们思考的空间，我们或许下个章节再来深入探讨一下这个问题，甚至包括ESMM模型，其实都有很多值得商榷的点，并不是盲目的直接应用。

广告还有深度学习，甚至是智能化定向这个话题，都没有完结。

所以，不要放弃治疗，请继续保持关注，数据虫巢这里总是能给你们跟行业大众不一样的视角和考虑，就算是炼丹，也希望给你们练出一炉不一样的“丹药”出来。

参考文献

【01】如果上下文有些不畅，上面正文中提到的一些前面章节赶紧去补补吧，在话题标签中有，欢迎留言，更欢迎打赏。

文章都看完了，还不点个赞来个赏~