（图片付费下载自视觉中国）

作者 | 深度传送门

来源 | 深度传送门（ID:gh_5faae7b50fc5）

【导读】本文主要介绍今日头条推出的强化学习应用在推荐的最新论文[1]，首次改进DQN网络解决推荐中的在线广告投放问题。

• 图a的DQN接受的输入是state，输出是所有可能action对应的Q-value；
• 图b的DQN接受的输入是state以及某一个action，输出是对应的Q-value。

• state包含了使用GRU针对推荐列表和广告进行用户序列偏好建模的p；当前用户请求的上下文信息c；以及当前请求展示的推荐列表item的特征进行拼接转换形成的低维稠密向量rec；
• action则包含两部分：一部分是候选插入广告ad的特征；另一部分则是广告插入的位置；其中这里的前半部分会被当做输入层。

• reward函数。Reward函数也包含两部分：一部分是广告的的收入r^ad；另一部分则是用户是否继续往下刷的奖励。基于下图的reward函数，最优的Q函数策略便可以通过Bellman等式求得。

• （第6行）针对用户请求构建state；
• （第7行）根据标准的off-policy执行action，也就是选取特定ad；
• （第8行）根据设计好的reward函数，计算reward；
• （第10行）将状态转移信息（s_t，a_t，r_t，s_t+1）存储到replay      buffer；
• （第11行）从replay buffer中取出mini-batch的状态转移信息，来训练得到最优的Q函数参数。

• W&D。本文稍微针对W&D进行了扩展来预估是否插入广告以及预估插入广告的CTR。
• DFM。DeepFM是在W&D基础上改进而来的一种可以额外学习特征间低阶交互的一种架构。本文的实验也表明DFM的表现好于W&D。
• GRU。GRU4Rec使用GRU来建模用户的历史行为针对用户是否点击进行预估，本文同样也进行了扩展支持实验场景。本文的实验表明GRU4Rec效果好于W&D和DFM。
• HDQN。HQN是一个层级DQN结构，高阶DQN决定插入位置；低阶DQN选择特定ad进行插入。本文的实验表明HDQN效果好于GRU，因为GRU只是最大化当前请求的immediate奖励，而HDQN则是最大化长期收益。
• DEAR。本文提出的DEAR框架效果好于HDQN，因为层级的RL架构在使用off-policy方式进行联合训练时有稳定性问题。详细的效果对比，如下图所示。

1. Deep Reinforcement Learning for Online Advertising in Recommender Systems，https://arxiv.org/abs/1909.03602

（*本文为 AI科技大本营转载文章，转载请联系作者）

◆

精彩推荐

◆

早鸟票倒计时最后2天，扫码购票立减2600元！

2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。

推荐阅读

• 诺贝尔物理学奖出炉，三大天体物理学家获奖

• 美政府再将8家中国企业列入“黑名单”，海康、科大讯飞、旷视等做出回应

• Python入门你要懂哪些？

• 如何保护你的Python代码（一）——现有加密方案

• 百度回应李彦宏卸任百度云执行董事；甲骨文拟增聘 2000 员工拓展云服务；PostgreSQL 12 正式发布 | 极客头条

• 真·上天！NASA招聘区块链"多功能复合型"人才, 欲保护飞行数据安全……

• 10 月全国程序员工资统计，一半以上的职位 5 个月没招到人！

• 【光说不练假把式】今天说一说Kubernetes 在有赞的实践

你点的每个“在看”，我都认真当成了喜欢