【CTR排序】多任务学习之MMOE模型
学习总结
- 常见的多任务模型有三种范式：
- hard parameter sharing：底部有shared bottom，然后上层用全连接层分别学习特定任务模式，但是当两个任务相关性没那么好(比如排序中的点击率与互动，点击与停留时长)，共用一套shared bottem参数的效果就可能没这么好了。
- soft parameter sharing: 这个范式对应的结果从
MOE->MMOE->PLE等。没有shared bottom，而是有不同权重的不同专家tower进行组合预测。 - 任务序列依赖关系建模：如ESSM，DBMTL，ESSM2等都是属于该范式。这种适合于不同任务之间有一定的序列依赖关系。比如电商场景里面的ctr和cvr，其中cvr这个行为只有在点击之后才会发生。所以这种依赖关系如果能加以利用，可以解决任务预估中的样本选择偏差(SSB)和数据稀疏性(DS)问题
- 样本选择偏差: 后一阶段的模型基于上一阶段采样后的样本子集训练，但最终在全样本空间进行推理，带来严重泛化性问题
- 样本稀疏： 后一阶段的模型训练样本远小于前一阶段任务
- MOE混合专家模型的几个思想：bagging模型集成思想、注意力机制（不同专家的决策地位不同）、multi-head机制（多个专家即多个head，代表了不同的非线性空间）。
- Multi-gate Mixture-of-Experts(MMOE)的魅力就在于在MOE的基础上，对于每个任务都会涉及一个门控网络，这样，对于每个特定的任务，都能有一组对应的专家组合去进行预测。
【CTR排序】多任务学习之MMOE模型相关推荐
- 我们如何在Pinterest Ads中使用AutoML，多任务学习和多塔模型
Ernest Wang | Software Engineer, Ads Ranking 欧内斯特·王| 软件工程师,广告排名 People come to Pinterest in an explo ...
- 【推荐系统】多任务学习之ESMM模型
学习总结 ESMM首创了利用用户行为序列数据在完整样本空间建模,并提出利用学习CTR和CTCVR的辅助任务,迂回学习CVR,避免了传统CVR模型经常遭遇的样本选择偏差和训练数据稀疏的问题,取得了显著的 ...
- Google 多任务学习框架 MMoE
2020-06-16 23:21:40 基于神经网络的多任务学习已经过成功应用内许多现实应用中,比如说之前我们介绍的阿里巴巴基于多任务联合学习的 ESMM 算法,其利用多任务学习解决了 CVR 中样本 ...
- Sunny.Xia的深度学习(四)MMOE多任务学习模型实战演练
本专栏文章会在本博客和知乎专栏--Sunny.Xia的深度学习同步更新,对于评论博主若未能够及时回复的,可以知乎私信.未经本人允许,请勿转载,谢谢. 一.什么是MMOE? 三张图分别是多任务模型的不同 ...
- 推荐系统遇上深度学习(九十二)-[腾讯]RecSys2020最佳长论文-多任务学习模型PLE
今天介绍的是腾讯提出的一种新的多任务学习个性化推荐模型,该论文荣获了RecSys2020最佳长论文奖,一起来学习下! 1.背景 多任务学习通过在一个模型中同时学习多个不同的目标,如CTR和CVR,最近 ...
- 一文梳理多任务学习(MMoE/PLE/DUPN/ESSM等)
大家在做模型的时候,往往关注一个特定指标的优化,如做点击率模型,就优化AUC,做二分类模型,就优化f-score.然而,这样忽视了模型通过学习其他任务所能带来的信息增益和效果上的提升.通过在不同的任务 ...
- MMoE论文中Synthetic Data生成代码(控制多任务学习中任务之间的相关性)
Synthetic Data 一. 前言 二. 程序实现 2.1 生成一条数据 2.2 生成一组相关系数为p的数据集 2.3 权重系数的余弦相似度与标签相关系数之间的关系 一. 前言 在MMoE论文中 ...
- 深度学习-多任务学习总结
深度学习中多任务学习的方法和问题总结 为什么要做多任务学习 多任务学习的实现方法 介绍下ESSM 介绍下PLE 为什么要做多任务学习 多任务算法的应用场景还是很广泛的,只要是推荐技术涉及的业务,比如搜 ...
- 2021年浅谈多任务学习
作者 | 多多笔记 来源 |AI部落联盟 头图 | 下载于视觉中国 写此文的动机: 最近接触到的几个大厂推荐系统排序模型都无一例外的在使用多任务学习,比如腾讯PCG在推荐系统顶会RecSys 2020 ...
最新文章
- 使用VB.NET加快代码开发速度
- PowerDesigner 小工具窗
- m_Orchestrate learning system---六、善用组件插件的好处是什么
- java动态代理上是否能再进行一层代理
- javax.naming.NameNotFoundException:
- Android Platform Codenames, Versions, API Levels, and NDK Releases
- 多线程 全局变量_python高级：6.多线程part1
- 创建一个Java :: Geci生成器
- Hadoop Exception in createBlockOutputStream
- 使C＃代码现代化——第二部分：方法
- jquery学习之事件委派
- Vue-购物车简单案例
- 微信小程序之获取百度天气
- 正大国际期货：做期货交易，怎么样才能成功？
- 如何在Hi3559A上运行自己的YOLOv3模型
- 在springboot整合mybatis遇到的数据库连接不上问题解决
- uniapp拍卖商城源码功能解说
- 树和森林的遍历 （树的建立和输出）
- 网络爬虫-猫眼电影top100
- 织梦仿小刀娱乐网模板资源资讯类网站模板(自适应手机端)