#Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

论文题目: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
论文地址: https://dl.acm.org/citation.cfm?id=3220007
论文发表于: KDD 2018（CCF A类会议）

论文大体内容：
本文主要提出了Multi-gate Mixture-of-Experts（MMoE）的方法，来解决multi-task learning对task相关性敏感的问题，并在实验和真实数据上取得不错的效果；

Motivation：
当前的推荐系统往往会关注多个目标，而为了同时学习多个目标，传统的multi-task learning会通过shared-bottom的方法来训练，但是这样常常会因为多个task之间的相关性较低而导致多个目标都不能学习到很好。

Contribution：
本文作者提出MMoE的方法来解决这个问题，通过给各个expert增加一个gate，来调整某个目标与多个task之间的关系系数，从而达到简单易用且更好的效果。
同时，作者还通过人造数据集，来进行实验证明MMoE模型在task相关性较差的情况下明显比baseline好。
MMoE也应用在线上系统，取得不错的效果。

1. 整体结构可以看下图；

2. 作者构造人造数据的方法如下，比较有趣，值得学习；

3. 传统shared-bottom的模型，对于相关性高的task之间，能取得更好的效果；

4. 其它可参考[1]的详细说明；

参考资料：
[1] https://mp.weixin.qq.com/s/2Rc6W82Iy6rTyWa14Yf9Gg

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！

#Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts相关推荐

#Paper reading#DeepInf: Social Influence Prediction with Deep Learning
#Paper reading# DeepInf: Social Influence Prediction with Deep Learning 设计了一个端到端的框架DeepInf,研究用户层面的社会 ...
#Paper Reading# Toward an Architecture for Never-Ending Language Learning
论文题目:Toward an Architecture for Never-Ending Language Learning 论文地址:https://www.cs.cmu.edu/afs/cs.cm ...
Paper Reading 1 - Playing Atari with Deep Reinforcement Learning
来源:NIPS 2013 作者:DeepMind 理解基础: 增强学习基本知识深度学习特别是卷积神经网络的基本知识创新点:第一个将深度学习模型与增强学习结合在一起从而成功地直接从高维的输入学习控 ...
论文《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》
论文地址:https://dl.acm.org/doi/pdf/10.1145/3219819.3220007 摘要常用的多任务学习往往对于任务之间的关系比较敏感,论文提出的MMoE将专家混合结构应 ...
【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18
在模型层面理解,我们在单目标中经常会花费大量的精力"找强特征"和"删冗余特征"输入到模型,提高模型效果.那么切换到MTL时,每个task所需要的"强特 ...
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
发于2018年,论文地址:KDD 2018 | Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-o ...
Multi task learning多任务学习背景简介
2020-06-16 23:22:33 本篇文章将介绍在机器学习中效果比较好的一种模式,多任务学习(Multi task Learning,MTL).已经有一篇机器之心翻译的很好的博文介绍多任务学习了 ...
multi task训练torch_采用single task模型蒸馏到Multi-Task Networks
论文地址. 这篇论文主要研究利用各个single task model来分别作为teacher model,用knowledge distillation的方法指导一个multi task model ...
多智能体强化学习Multi agent，多任务强化学习Multi task以及多智能体多任务强化学习Multi agent Multi task概述
概述在我之前的工作中,我自己总结了一些多智能体强化学习的算法和通俗的理解. 首先,关于题目中提到的这三个家伙,大家首先想到的就是强化学习的五件套: 状态:s 奖励:r 动作值:Q 状态值:V 策略: ...

#Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

#Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts相关推荐

最新文章

热门文章