AI上推荐之多任务loss优化(自适应权重篇)

1. 写在前面

在多任务学习中，往往会将多个相关的任务放在一起来学习。例如在推荐系统中，排序模型同时预估候选的点击率和浏览时间。相对于单任务学习，多任务学习有以下优势：

多个任务共享一个模型，占用内存量减少；
多个任务一次前向计算得出结果，推理速度增加；
关联任务通过共享信息，相互补充，可以提升彼此的表现。

前面的一篇文章，主要是从模型结构的角度聊了下多任务学习，介绍了工业界非常经典也常用的MMOE模型，然而，对于多任务学习， Loss的优化也非常重要，因为我们知道通过多个目标去指导网络进行统一的训练，这些目标之间有没有冲突？多个目标loss之间如何配合？ loss的规模是否一致？等等，所以这篇文章，通过几篇paper，来统一梳理下，在多任务模型训练时，关于多个loss之间优化常用到的相关思路，当然这些思路不仅适用于推荐，只要是多个任务，多个loss同时指导模型训练的场景，比如cv里面的全景感知系统(可能需要同时做目标识别，分割，分类)，都可以考虑这些思路方法，所以这次整理的更像是多任务学习loss优化的一些范式思想。这篇文章会超级长，总结了四篇经典loss优化自适应权重paper的精华内容并通过代码复现和实验进行了对比。老规矩：根据目录，各取所需即可

AI上推荐之多任务loss优化(自适应权重篇)相关推荐

AI上推荐之 MMOE(多任务yyds)
1. 写在前面这篇文章开始多任务模型的学习,算是把多任务模型这块的坑填一下哈哈. 随着推荐技术的蓬勃发展,目前越来越多的推荐场景,往往并不是单纯的优化一个指标,比如: 视频推荐领域: 推荐排序任务不 ...
AI上推荐之 YouTubeDNN模型(工业界推荐系统的灯火阑珊)
1. 写在前面这个系列很久没有更新了, 主要是前段时间经历了一波秋招, 后面的方向可能稍微偏数据挖掘和cv多一些,所以向这两块又稍微延展了一下,没来得及看推荐相关的论文,这次借着和如意大佬整理fun ...
AI上推荐之 SDM模型(建模用户长短期兴趣的Match模型)
1. 写在前面今天整理的是SDM模型(Sequential Deep Matching Model),依然是阿里团队在2019年CIKM上的一篇paper.和MIND模型一样,是一种序列召回模型,研 ...
AI上推荐之逻辑回归模型与GBDT+LR(特征工程模型化的开端)
1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战: 信息消费者:如何从大量的信息中找到自己感兴趣的信息? 信息生产 ...
AI上推荐之 AutoInt模型(Transformer开始玩特征交互)
1. 写在前面这段时间做优化模型的事情,正好和特征交互有关系,这个也是推荐系统里面一直探索的一个方向,从浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AF ...
AI上推荐之 AFM与DIN模型（当推荐系统遇上了注意力机制）
1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战: 信息消费者:如何从大量的信息中找到自己感兴趣的信息? 信息生产 ...
AI上推荐之基于内容的推荐(ContentBasedRecommend)
1. 前言随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战: 信息消费者:如何从大量的信息中找到自己感兴趣的信息? 信息生产 ...
上下架和橱窗推荐如何设置，优化过程需要注意的地方
上下架和橱窗推荐如何设置,优化过程需要注意的地方没有接触SEO的卖家可能觉得淘宝SEO有多神秘,多难优化,其实总的来说还是用户体验为主,基础影响因素为辅.这里我们说的满足搜索用户体验前提是要把基础的 ...
【每周CV论文推荐】初学者必须精读的5篇深度学习优化相关文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 从事深度学习岗位,扎实的深度学习理论基础是必 ...

AI上推荐之多任务loss优化(自适应权重篇)

1. 写在前面

AI上推荐之多任务loss优化(自适应权重篇)相关推荐

最新文章

热门文章

AI上推荐 之 多任务loss优化(自适应权重篇)

1. 写在前面

AI上推荐 之 多任务loss优化(自适应权重篇)相关推荐

最新文章

热门文章

AI上推荐之多任务loss优化(自适应权重篇)

AI上推荐之多任务loss优化(自适应权重篇)相关推荐