19【推荐系统18】MMoE-PosBias：多任务学习

文章目录

1、前言
2、相关知识
- 工业界的推荐系统
- 多目标学习推荐系统
- 理解和建模训练数据中的bias
3、模型结构
- 排序目标
- 基于多 Gate 和Mixture-of-Experts层的任务关系和冲突建模
- 建模和消除位置和选择bias
参考

1、前言

文章主要聚焦于大规模视频推荐中的排序阶段，介绍一些比较实在的经验和教训，解决Multitask Learning, Selection Bias这两个排序系统的关键点。

为了解决这样的挑战，作者提出了MMoE-PosBias 架构，利⽤ MMoE 框架解决多⽬标问题，并利⽤ Wide&Deep 框架来缓解选择偏差的问题。

MMoE 上⼀篇论⽂有过介绍，选择偏差问题我们在之前介绍的阿⾥妈妈团队的多任务学习算法 ESMM 中也提到过，不过这⾥主要是位置上的选择偏差。

本文描述了一个用户视频推荐的大规模排序服务。具体场景是：给定一个用户播放的视频，生成下一个他可能会播放和喜欢的视频。典型

19【推荐系统18】MMoE-PosBias：多任务学习相关推荐

浅谈多任务学习在推荐系统中的应用
作者 | Chilia 哥伦比亚大学 nlp搜索推荐整理 | NewBeeNLP 一. 为什么要用多任务学习? 「方便」.在推荐任务中,往往不仅要预测用户的engagement(例如CTR),还要预 ...
多任务学习MTL-MMOE
一.论文简读 1.Motivation 多任务模型通过学习不同任务的联系和差异,可提高每个任务的学习效率和质量.多任务学习的的框架广泛采用shared-bottom的结构,不同任务间共用底部的隐层.这 ...
推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）
推荐系统(十五)多任务学习:谷歌MMoE(Multi-gate Mixture-of-Experts ) 推荐系统系列博客: 推荐系统(一)推荐系统整体概览推荐系统(二)GBDT+LR模型推荐系统 ...
MMoE PLE：推荐系统多任务学习（multitask）的实战总结和常见问题（三）
多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题,欢迎更多同学讨论和指正,同时也宣传一波我们组在推荐方向的工作成 ...
【推荐系统多任务学习MTL】MMoE论文精读笔记（含代码实现）
论文地址: Google KDD 2018 MMOE (内含论文官方讲解视频) PDF Modeling Task Relationships in Multi-task Learning with ...
Google 多任务学习框架 MMoE
2020-06-16 23:21:40 基于神经网络的多任务学习已经过成功应用内许多现实应用中,比如说之前我们介绍的阿里巴巴基于多任务联合学习的 ESMM 算法,其利用多任务学习解决了 CVR 中样本 ...
多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一）
多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题,欢迎更多同学讨论和指正,同时也宣传一波我们组在推荐方向的工作成 ...
RS Meet DL(68)-建模多任务学习中任务相关性的模型MMoE
本文介绍的论文题目是:<Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts ...
【推荐系统多任务学习 MTL】PLE论文精读笔记（含代码实现）
论文地址: Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized ...
推荐系统遇上深度学习(九十二)-[腾讯]RecSys2020最佳长论文-多任务学习模型PLE
今天介绍的是腾讯提出的一种新的多任务学习个性化推荐模型,该论文荣获了RecSys2020最佳长论文奖,一起来学习下! 1.背景多任务学习通过在一个模型中同时学习多个不同的目标,如CTR和CVR,最近 ...

19【推荐系统18】MMoE-PosBias：多任务学习

文章目录

1、前言

19【推荐系统18】MMoE-PosBias：多任务学习相关推荐

最新文章

热门文章