推荐系统学习笔记-论文研读--点击率预估中特征交互的作用
研究背景
- 当前点击率预估模型没有完全挖掘特征交互的潜力
- 特征的表征学习与特征的交互存在冲突
- 笛卡尔积的方法比当前的点击率预估模型效果都好
- 算法模型的效率和效果的平衡
- 阿里巴巴线上业务量级和耗时的考虑
当前模型的特征交互的相关方法
论文研究成果
这篇论文的主要贡献
- 强调了特征交叉建模的重要性
- 提出一个轻量级的模型(CAN)
- 在公开数据集和工业环境进行了验证有效性
- 提出了一种工业部署技术
研究意义
• 想为特征交互走一条新的路
• 工业落地的产物
摘要核心
- 网络结构的非线性抽取特征是一种隐式特征表征
- 当前的ctr模型无法完全捕获特征的相互组合
- 作者提出一种网络结构Co-Action Network
- Co-Action Network 综合参数，存储，计算等的考量，能够进行在线部署
- 阿里巴巴线上效果ctr 提升12% ， RPM 提升8%
模型结构
Co-Action Unit结构
实验结果
概念引入-消融实验
消融实验类似于“控制变量法”。
假设在一个算法中，使用了A，B，C，取得了不错的效果，但是这个时候并不知道这不错的效果是由于A，B，C中哪一个起的作用，于是你保留A，B，移除C进行实验来看一下C在整个系统中所起的作用。
线上部署方案
核心思路:尽可能的减少参数的量，从而达到减少计算量和存储量的目的
原文(机翻)
CAN:重新访问功能协同作用的点击率预测
周国瑞，卞维杰∗
吴凯伦，任乐健，皮琦，张玉晶，肖灿，盛祥荣，莫娜，罗新辰，张驰，乔先杰，项世明，盖坤，
朱晓强，徐健
阿里巴巴集团
中国,北京摘要
受深度学习成功的启发，近年来，工业点击率 (i ndust ri al Cl i ck -
Through R at e, C TR )预测模 型已经 从传统 的浅层 方法过 渡到深 层方
法。深 度神 经网络(De ep Neural Net works , DNNs )具有 自动学 习原
始特 征非 线 性交 互作 用的 能 力， 然而 ， 非线 性特 征交 互 作用 是以
隐式 方式 学 习的 。原 始特 征 之间 的非 线 性交 互很 难捕 捉 ，对 原始
特征之间 的交互 进行显 式建 模有利 于 C TR 预测。协同 作用是 指特
征对最终 预测的 集体效 应。 认为现 有的 C TR 模型没有 充分挖 掘特
征协 同作 用 的潜 力。 我们 进 行了 实验 ， 表明 特征 协同 作 用的 效果
被 严 重 低 估 了 。 基 于 我 们 的 观 察 ， 提 出 了 特 征 协 同 作 用 网 络
(feat ure Co -Action Net work，简称 C A N)来探索 特征协 同作用 的潜
力。 提出 的 模型 可以 高效 有 效地 捕捉 特 征协 同作 用， 提 高了 模型
性能 ，同 时 降低 了存 储和 计 算消 耗。 在 公共 数据 集和 工 业数 据集
上的实验 结果表 明，该 C AN 模 型的性 能大大 优于现 有的 C TR 模
型 。到 目 前 为 止 ，C AN 已 经 部 署 在 阿里 巴 巴 展 示 广告 系 统 中，
CTR 平均提升 了 12% ，RP M 平均提 升了 8 %。
关键字
CTR预测，神经网络，特征交叉
1 介绍
随着 机器 学习 模 型， 特别 是 推荐 系统 中的 模 型越 来越 复 杂， 如何
有效 高效 地处 理 丰富 的输 入 特征 成为 一个 至 关重 要的 问 题。 对于
工业 环境 下的 在 线推 荐， 模 型通 常是 在十 亿 规模 的二 值 化稀 疏特
征上进 行训 练， 采用 one-hot 编码[3,22]。每 个特征 也可 以看 作是
一个唯 一的 ID ，先 映射 到低 维嵌入 ，然 后再 馈送到 模型 中。 处理
大规 模输 入的 一 个简 单方 法 是考 虑每 个特 征 是独 立的 。 在这 种假
设下 ，特 征之 间 不存 在联 系 ，因 此可 以直 接 训练 一个 广 义线 性模
型，根据特征 的组 合(例如 ，拼 接)来估 计点 击率 。
然而，在推荐系统中，像“推荐 项目”和“用户点击 历史”这样
的特征是高度 相关的[21,22]。，存在特征对最终预测目标的集体效
应，如
∗ 周国瑞和卞维杰对这项研究做出了同样的贡献。 通讯作者 :周国瑞。{g uo rui 。 xg r,。尾戒缠住
了 bwj kailun。 wu k ai lun lejian。rlj } @alibab a— —i n c. c o m
作为点击率，即功能协同。比如，一个点击历史中有“泳 衣”的女
性用户，由于“泳 衣”和“护 目镜”的共同 作用，很可能 会点击一
个推荐的“护目镜 ”。特征协 同可以被认为 是对一组原始 特征的子
图进行建模。如果子图只由两个特征组成，那么对特征协同作用的
建模相当 于对两个 id 之间的 边进行 建模。 协同作用 的效果 解释了
一组特征如何与优化目标相关联。如图 1 所示，特征协 同作用显式
地将特征对[
推荐系统学习笔记-论文研读--点击率预估中特征交互的作用相关推荐
- 推荐算法炼丹笔记：CTR点击率预估系列入门手册
CTR点击率预估系列家谱 炼丹之前,先放一张CTR预估系列的家谱,让脉络更加清晰. (一)FiBiNET:结合特征重要性和双线性特征交互进行CTR预估 1.1 背景 本文发表在RecSys 2019 ...
- 广告点击率预估中的特征选择
一．互联网广告特征project 博文<互联网广告综述之点击率系统>论述了互联网广告的点击率系统,能够看到,当中的logistic regression模型是比較简单并且有用的,其训练方法 ...
- 【总结】广告点击率预估中的特征选择
互联网广告综述之点击率特征工程 一．互联网广告特征工程 博文<互联网广告综述之点击率系统>论述了互联网广告的点击率系统,可以看到,其中的logistic regression模型是比较简单 ...
- 推荐系统遇上深度学习(一三二)-[阿里]点击率预估中的自适应参数生成网络
今天给大家分享一篇阿里发表的关于神经网络中网络参数自适应生成的文章,不仅可以做到不同的样本有不同的网络参数,同时通过拆分矩阵等操作大大提升了推理性能,一起来学习一下. 1.背景 当前CTR预估的主要研 ...
- 点击率预估中的FM算法FFM算法
转载请注明出处:https://blog.csdn.net/gamer_gyt/article/details/81038913 博主微博:http://weibo.com/234654758 Git ...
- 深度学习学习笔记-论文研读4-基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法
本人学识浅薄,如有理解不到位的地方还请大佬们指出,相互学习,共同进步 概念引入 强化学习 DQN算法 边缘计算 边缘计算,是指在靠近物或数据源头的一侧,采用网络.计算.存储.应用核心能力为一体的开放平 ...
- 推荐算法炼丹笔记：排序模型CTR点击率预估系列
微信公众号:炼丹笔记 CTR点击率预估系列家谱 炼丹之前,先放一张CTR预估系列的家谱,让脉络更加清晰. (一)FiBiNET:结合特征重要性和双线性特征交互进行CTR预估 1.1 背景 本文发表在 ...
- 效果广告点击率预估实践：在线学习
效果广告点击率预估实践:在线学习 原创 2016-03-24 腾讯大数据 腾讯大数据 1.引言 技术钻研如逆水行舟,不进则退.公司的广告业务发展非常迅猛,有目共睹,激烈的外部竞争和客户越来越高的期望, ...
- 阿里最新论文解读：考虑时空域影响的点击率预估模型DSTN
作者 | 石晓文 转载自小小挖掘机(ID: wAIsjwj) [导语]:在本文中,阿里的算法人员同时考虑空间域信息和时间域信息,来进行广告的点击率预估. 什么是时空域?我们可以分解为空间域(spati ...
最新文章
- R语言aggregate函数数据聚合实战
- PHP两种不同的快递运单号查询
- codeforce 1070 H
- Spring Boot 2.3.3 正式发布！
- java封装概念_Java面向对象----封装概念
- 当代计算机技术在建筑设备中的应用,计算机技术在建筑设计中应用浅谈.doc
- TrueType、PostScript 和 OpenType 字体之间的区别是什么？ truetype vs opentype
- palapaweb的mysql无法运行_Mysql 服务无法启动 服务没有报告任何错误
- NoSQL之MongoDB安装
- html的经典语法大全,HTML语法大全
- 如何判断一个三位数是否为水仙花数
- spark GBT算法
- php中round(),PHP round( )用法及代码示例
- 流利说英语level4_英语流利说level4原文graph？分享一下我的经验？
- 简单题我重拳出击，困难题我唯唯诺诺
- python格式规范的要求_Python书写规范
- ExpandableListView购物车—+okhttp封装
- 【SVN】新旧服务器更替,完成svn服务器迁移
- 酒店点餐系统开发详解（一）
- Ubuntu开机黑屏且左上角闪烁光标，登录页面键盘鼠标无响应的解决方法
热门文章