SIGIR 2021|重新思考Attention在CTR预估中作用
©PaperWeekly 原创 · 作者 | 金金
单位 | 阿里巴巴研究实习生
研究方向 | 推荐系统
论文标题:
Looking at CTR Prediction Again: Is Attention All You Need?
论文来源:
SIGIR 2021
论文链接:
https://arxiv.org/abs/2105.05563
简介
点击率(CTR)预测是网络搜索、推荐系统和在线广告展示中的一个关键问题。学习良好的特征交互对于反映用户对物品的偏好至关重要。许多基于深度学习的 CTR 预测模型已经被提出,但研究人员通常只关注是否达到了 state-of-the-art 的性能,而忽略了整个框架是否合理。
在这项工作中,作者使用经济学中的离散选择模型重新定义了 CTR 预测问题,并提出了一个基于自注意力机制的通用神经网络框架。发现大多数现有的 CTR 预测模型与本文提出的通用框架一致。作者还检查本文提出的框架的表达能力和模型复杂性,以及对一些现有模型的潜在扩展。最后,本文通过公共数据集上的一些实验结果来展示和验证作者的见解。
模型
本文中,作者提出了一个通用的框架,从而可以表示所有的 CTR 模型,该框架如下:
该模型首先通过一个输入层读取来自不同域的信息,并映射为 one-hot 的向量,然后使用一个嵌入表示层,将该表示转化为稠密向量表示。
在此基础上,使用特征交互层,计算不同特征之间的交互信息,然后通过一个聚合层聚合不同交互形式下的信息,最后使用一个空间 transformer 层,最终得到效用分数。
而已有的 CTR 模型嵌入到该框架中的具体形式如下:
那么在此基础上,作者提出了新的基于自注意力机制的扩展 CTR 预估模型 SAM,并计算三种形式的变种的时间复杂度和空间复杂度如下:
实验
本文的实验在已有的真实数据集上进行,以验证本文的复现效果以及提出的新的扩展框架的效果,最后发现,的确该方法可以融合已有的CTR预估框架,且基于自注意力机制的模型可以取得更准确的效果,从而说明了注意力机制的有效性。
结论
在这项工作中,作者提出了一个 CTR 预测的通用框架,它对应于基于神经网络模型的个体决策过程。我们还尝试研究注意力机制在 CTR 预测模型中是否至关重要。发现大多数CTR预测模型可以看作是应用于特征交互的通用注意力机制。从这个意义上说,注意力机制对于 CTR 预测模型很重要。
此外,作者基于本文的框架扩展了现有的 CTR 模型,并提出了三种类型的 SAM,其中 SAM1 和 SAM2 模型分别是 LR 和 FM 模型的扩展,SAM3 对应于 Transformer 中的 self-attention 模型与原始模型-场嵌入扩展到成对场嵌入。根据在两个数据集上的实验结果,虽然本文的扩展可以获得相当有竞争力的结果,但 SAM3 模型并没有表现出其显着的优势。
作者还对 SAM3A 模型中的 SAM 层数进行了更深入的分析,发现深度并不总是能带来更好的性能。这在一定程度上也说明了 CTR 预测问题不同于 NLP 任务,高阶特征交互的效果并不能带来太大的提升。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
???? 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
???? 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
SIGIR 2021|重新思考Attention在CTR预估中作用相关推荐
- WSDM2021 | 多交互注意力网络用于CTR预估中细粒度特征学习
| 作者:YEN | 单位:东北大学 | 研究方向:推荐系统.计算广告 本文分享一篇发表在WSDM'21的点击率预估方面的文章:交互注意力网络用于CTR预估中细粒度特征学习 论文核心内容:构建更细粒度 ...
- 深度学习在CTR预估中的应用 | CTR深度模型大盘点
作者丨辛俊波 单位丨腾讯 研究方向丨CTR预估,推荐系统 前言 深度学习凭借其强大的表达能力和灵活的网络结构在 NLP.图像.语音等众多领域取得了重大突破.在广告领域,预测用户点击率(Click Th ...
- ctr预估 php,深度学习在CTR预估中的应用
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 作者:辛俊波 | 腾讯 应用研究员 一.前言 深度学习凭借其强大的表达能力和灵活的网络结构在NLP.图像.语音等众多领域取得了重大突破.在广 ...
- CTR预估中GBDT与LR融合方案
1. 背景 CTR预估(Click-Through Rate Prediction)是互联网计算广告中的关键环节,预估准确性直接影响公司广告收入.CTR预估中用的最多的模型是LR(Logistic R ...
- 协同过滤算法_协同过滤在新闻推荐CTR预估中的应用
概述协同过滤算法是推荐系统中的最基本的算法,该算法不仅在学术界得到了深入的研究,而且在工业界也得到了广泛的应用.本文介绍最基本的基于物品的和基于用户的协同过滤算法,并结合新闻推荐的CTR预估,介绍基于 ...
- 深度学习在CTR预估中的应用
Deep Learning for Click-Through Rate Estimation Weinan Zhang, Jiarui Qin, Wei Guo, Ruiming Tang, Xiu ...
- 广告CTR预估中用户行为学习和记忆建模
分享嘉宾:邹衡@阿里,并非花名"擎苍" 编辑整理:陈晟 出品平台:DataFun 导读:CTR 预估是计算广告的底层通用技术,在 CPC/OCPC 营销模式下,预估准确性对广告主流 ...
- CTR预估中的特征选择
1.CTR预估,发现CTR预估一般都是用LR,而且特征都是离散的.为什么一定要用离散特征呢?这样做的好处在哪里? A:在工业界,很少直接将连续值作为逻辑回归模型的特征输入,而是将连续特征离散化为一系列 ...
- 深度学习在CTR预估中的应用 文献收藏
https://www.sohu.com/a/227910398_500659 转载于:https://www.cnblogs.com/jhc888007/p/10630586.html
最新文章
- SpringBoot 集成Mybatis
- 【机器学习】太棒了!8 个开源自动化机器学习框架,轻松搞定机器学习!
- 插入1000万条数据到mysql数据库表
- java helper 设计模式_必知必会的 Java 设计模式入门知识(十):外观模式
- 程序员该如何进行 SQL 数据库的优化?
- TensorFlow 实战(三)—— 实现常见公式
- 关于大学生阶段团队类型选择
- Vulkan入门(一)-环境配置.md
- 《机器学习算法竞赛实战》学习笔记1.竞赛简介
- 经济学计算机是必修课吗,大学中经济学专业的每年的必修课是什么?例如...
- js和jsp互相传值的问题解决办法
- Excel如何设置下拉选项
- 红米note8Pro6400万像素爆发,但不会这些拍照技巧,四摄等于摆设
- Ubuntu使用git更新本地代码到github
- jQuery Marquee
- [Vue warn]: Unknown custom element: <mycom> - did you register the component correctly? For recursiv
- 日食恐慌!运营商面临严峻挑战!
- Unity 如何在程序中发送Email邮件
- Python学习笔记02----M*N的棋盘,马从坐下到右上的行走方式
- word之把公式在等号处对齐
热门文章
- harbor pull 失败
- 微信卡券 - 微信公众平台 整理笔记
- BZOJ.1143.[CTSC2008]祭祀(Dilworth定理 最大流ISAP)
- SCSF 系列:Smart Client Software Factory 中 MVP 模式最佳实践
- Javascript中call的使用
- bbmail-小巧的邮件提示程序
- [转载]C#中注册Dll的问题
- C#验证 中国 身份证 代码
- #打开cmd指定路径_CMD
- python数据驱动ddt_python_数据驱动_ddt