一个模型能服务所有的点击率模型?
今天我们就来探讨一篇论文《One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction》,该论文称一个模型能服务所有的点击率模型。传统的推荐系统,都是每个业务领域训练一个模型服务该业务,然而,在大型商业平台上,推荐系统需要对多个业务域进行点击率(CTR)预测。
不同的业务域有重叠的用户组和items,因此存在共性。因为特定用户组可能有所不同,用户行为可能会在特定的业务域内发生变化,所以不同的域也有较大的区别。区别导致不同领域有特定的数据分布,这使得单一的共享模型很难服务所有域。
针对这个问题,论文提出了星型拓扑自适应推荐器(STAR),该模型高效地学习并服务于所有领域。具体地说,STAR具有星拓扑结构,包含共享中心参数和特定域的参数。共享参数用于学习所有域的共性,特定域的参数捕获域之间的区别,从而更精确预测。给定来自不同域的请求,STAR可以根据不同的域调整其参数。到目前为止,STAR一直是部署在阿里巴巴展示广告系统中,获得CTR平均提高8.0%,RPM平均提高6.0%。
如下图所示,就是两个业务领域,一个是首页推荐,一个是猜你喜欢,都是为用户推荐他可能购买的商品。首页推荐在淘宝首页的最上方,可以是商品、商店、品牌等。而猜你喜欢都是商品。除了直接混合训练数据,直接粗暴的训练一个共享参数的点击率模型,另一个方案是每个业务领域训练一个模型,这样会有以下问题:
- 一些业务训练数据不足
- 维护太多模型成本过高
所以该论文提出去学习一个高效的点击率模型,可以同时处理上百个业务领域。模型的输入是(x, y, p),x是各个领域共有的特征,如用户行为序列,用户画像,商品特征,上下文特征等。y表示是否点击,p表示业务领域的标识。因为数据来自不同p,所以模型要准确的捕捉不同领域直接的数据分布差。
说了这么多,大家可能有疑惑,这难道不是多任务问题?论文中也做了解释,这和多任务是完全不同的,多域问题是解决不同域的同一个问题,比如预测不同域的点击率。而多任务优化目标是多个的,比如同时优化点击率和转化率。现有的多任务学习框架都是共享底层,不同的任务用不同的输出层,对于多域问题,并不能充分挖掘不同域之间的关系。所以STAR横空出世了,如下图所示,每个域都有自己特定参数,而且共享中心参数。
如上图(右)所示,STAR由3个模块组成:
- partitioned normalization (PN)
- star topology fully-connected neural network (star topology FCN)
- the auxiliary network
先采样一个业务域p,然后采样B个样本,如下所示:
然后通过pooling和concat等操作,获得B个固定长度的embeding。先后输入到PN和FCN中,p直接映射成embedding,和FCN的输出合并,作为最终的输出,这样既能捕捉不同域的共性和异性,也能显示的捕捉域的特性。
PN:其实就是修改了batch normalization(BN),因为BN假定样本都是来自同一分布的,但是由于我们这篇论文中的数据来自于不同的域,所以BN中的参数,在不同域中是不一样的,所以修改如下:
STAR Topology FCN:
经过PN后我们得到z',然后就要输入到星形(多个)全连接的前馈神经网络中,有一个共享参数的前馈神经网络,还有M个(域的个数)对应不同域的前馈神经网络,最后FCN层定义如下:
Auxiliary Network:
如果只让模型自己去学习不同域的差异是很困难的,如何显示的把域的信息加入到模型中呢?所以提出了Auxiliary Network,即直接把p embedding,和其他特征的embedding进行concat,然后输入到网络中得到sa,FCN的输出定义为sm,然后通过下式得到最终输出,最后用log loss进行模型的学习。
对比各个域在各个模型(包含单任务,多任务模型)的效果,我们也发现STAR的表现均最优。
https://mp.weixin.qq.com/s/heYKjH6aGZ0qOvwwY3_Dhg
一个模型能服务所有的点击率模型?相关推荐
- 关于点击率模型,你知道这三点就够
关于点击率模型,你知道这三点就够 说到广告,或者运营,关注的最多的就是点击率了.我们经常能听说某某科学家通过建立更好的点击率预测模型,为公司带来上亿的增量收入.点击率这么简单直接的统计量,为什么要用复 ...
- 关于点击率模型,你知道这三点就够了 点击率预估的几个经典模型简介
关于点击率模型,你知道这三点就够了 德川 2015年11月24日 阅读 2091 快速评论 说到广告,或者运营,关注的最多的就是点击率了.我们经常能听说某某科学家通过建立更好的点击率预测模型,为公司带 ...
- WSDM 2022 | 点击率模型特征交叉方向的发展及CAN模型介绍
丨目录: · 摘要 · 背景 · 问题和方法 · Co-Action Network方案 · 方案扩展 · 总结 · References · 关于我们 ▐ 一.摘要 排序模块在广告.推荐和搜索等系 ...
- 【推荐算法】点击率模型特征交叉方向的发展及CAN模型介绍
猜你喜欢 0.2022年人才市场洞察及薪酬指南 1.[免费下载]2022年1月份热门报告 2.[实践]小红书推荐中台实践 3.微信视频号实时推荐技术架构分享 4.腾讯QQ看点推荐场景的多目标架构实践 ...
- 点击率预估的几个经典模型简介
点击率预估的几个经典模型简介 2016-02-22 00:32 点击率预估是大数据技术应用的最经典问题之一,在计算广告,推荐系统,金融征信等等很多领域拥有广泛的应用.本文不打算对这个话题做个全面 ...
- 推荐搜索炼丹笔记:SIM 用户行为序列点击率预估模型
作者:十方,公众号:炼丹笔记 Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click- ...
- 用预训练GNN预估点击率有奇效?
说到点击率模型这个"古老"的话题,大家第一时间想到的是wide&deep,DeepFM,DCN等.但是说到GNN预估点击率,大家又能想到几个呢?<Explicit S ...
- 点击率预估与冷启动(二)
上一篇文章点击率预估与冷启动(一)咱们说到了键值储存网络,今天我们接着往下说. 键值储存网络实现了字典特征到向量的转换,而我们希望得到的是连续值特征到向量的转换.我们其实只需要再实现连续值到字典特征的 ...
- 精准营销:剖析广告点击率预估系统
引文 点击率预估系统最早是由谷歌实现,并应用在其搜索广告系统.在看到这一大杀器为谷歌带来滚滚财源之后,其他公司也纷纷效仿.直到今日,大大小小的"互联网广告公司",都宣称自己掌握了基 ...
最新文章
- 怎么把快捷键改成eclipse_Java IDE超好用的10个快捷键
- SQL学习(三)之子句和函数
- OVS中arp响应的流表的实现
- 省掉bean自定义spring mvc注解注入json值
- 小程序--显示图形效果
- Failed to execute goal org.apache.maven.plugins:maven-resources-plugin
- 三道题套路解决递归问题
- 力扣198. 打家jie舍(JavaScript)
- HUB,交换机,路由器,MODEM都有什么区别???
- 普元EOS常见问题及处理经验
- TP5代码一键生成(萤火小程序新增功能开发辅助)及开发记录文档
- 推销计算机英语作文,2018年12月英语四级作文范文:卖电脑
- 个人微信小程序开发入门教程:注册个人小程序
- CSS文字超出省略号无效
- 利用python在网上接单赚钱,兼职也能月入过万,赶紧学起来!
- word 2007 删除表格内容
- 整理一下虚拟化与Linux的学习经历
- ZooKeeper的典型应用场景之负载均衡。
- 华为手表GT2 模拟加密门禁卡
- PPLive for Ubuntu Linux