在推荐业务中经常有“既要、也要、还要”的场景，比如做视频推荐业务的时候既要提升用户对于视频的点击率，也希望同时提升用户观看视频的时长。面对这样的诉求，通常需要在推荐系统中使用多目标建模算法。

多目标建模目前业内有两种模式，一种叫Shared-Bottom模式，另一种叫MOE，MOE又包含MMOE和OMOE两种。MMOE也是Google提出的一套多目标学习算法结果，被应用到了Google的内部推荐系统中，接下来分别介绍下这些多目标算法的结构。

算法结构介绍

上图基本能把Shared-Bottom、OMOE、MMOE讲清楚。

Shared-Bottom的思路就是多个目标底层共用一套共享layer，在这之上基于不同的目标构建不同的Tower。这样的好处就是底层的layer复用，减少计算量，同时也可以防止过拟合的情况出现。

接着就是MOE类型的算法介绍了，MOE是Mixture of experts的缩写，也就是说MOE结构的算法底层是有多个experts组成，这些experts网络是彼此独立的，最终的输出结果其实是目标在多个experts上的概率分布结果。MOE可以通过一个Gate去控制，Gate network也叫门控网络，可以控制在不同应用场景下每个expert的参与权重。OMOE指的是one gate MOE， MMOE指的是multi gate MOE，从字面意思理解，MMOE一定是比OMOE更全面的。

效果说明

最终选用MOE结构的算法还是Shared-Bottom结构的呢？其实取决于业务效果。上面一张图介绍了Shared-Bottom以及OMOE、MMOE在不同目标相关性下的的效果比对。

不难发现，无论目标Correlation是什么数值，MOE结构的算法的loss永远低于Shared-Bottom类型的，显然MOE结构更优。

而OMOE在目标相关性最高的情况下（Correlation=1）和MMOE的效果相似，其它情况下不如MMOE。也就是说，目标相关性越低MMOE较其它二者的优势越明显，相关性非常高的情况下MMOE会近似于OMOE。

另外，解释下相关性Correlation的概念，可以理解为业务正相关性。比如点赞和踩，这两个行为肯定是相关性很低的，如果一个模型既要支持点赞率提升，也支持踩提升，一定要选MMOE。比如收藏和点赞，这两个目标就是相关性非常高的目标。

参考：

[1]https://zhuanlan.zhihu.com/p/55752344?edition=yidianzixun&utm_source=yidianzixun&yidian_docid=0LC8kTgk

[2]https://zhuanlan.zhihu.com/p/145288000

[3]https://www.cnblogs.com/xindi/p/12349940.html

推荐业务多目标建模算法介绍：MMOE、OMOE、Shared-Bottom相关推荐

Spark推荐实战系列之Swing算法介绍、实现与在阿里飞猪的实战应用（附代码）
1.Swing算法介绍 Swing算法原理比较简单,是阿里早期使用到的一种召回算法,在阿里多个业务被验证过非常有效的一种召回方式,它认为 user-item-user 的结构比 itemCF 的单边结 ...
多目标建模算法PLE
1. 概述在现如今的推荐系统或者搜索中,都存在多个目标,多目标的算法在现如今的系统中已然成为了标配.在多目标的建模过程中,如果不同的学习任务之间较为相关时,多个任务之间可以共享一部分的信息,这样最终 ...
基于haar特征的adaboost算法_目标检测算法介绍
什么是目标检测目标检测是指从图像中找出目标,包括检测和识别两个过程,现实中由于环境的复杂性以及各类物体的形状.外观以及光照,遮挡等因素的干扰,所以目标检测一直也是计算机视觉最常见的挑战之一. 目标检 ...
rcnn 回归_基础目标检测算法介绍：CNN、RCNN、Fast RCNN和Faster RCNN
每次丢了东西,我们都希望有一种方法能快速定位出失物.现在,目标检测算法或许能做到.目标检测的用途遍布多个行业,从安防监控,到智慧城市中的实时交通监测.简单来说,这些技术背后都是强大的深度学习算法. 在 ...
two-stage目标检测算法介绍
综述 two-stage是基本深度学习的目标检测算法的一种.主要通过一个完整的卷积神经网络来完成目标检测过程,所以会用到的是CNN特征,通过卷积神经网络提取对候选区域目标的特征的描述.典型的代表:R- ...
深度学习之目标检测（一）—— 目标检测算法介绍
目标检测问题目标检测是在图片中对可变数量的目标进行查找和分类查找就是定位到它在图片中的位置,通常表示为一个矩形框对于这样的问题,主要存在三个主要难点 ①目标种类与数量问题 ②目标尺度问题 ③外在 ...
Spark推荐系列之Word2vec算法介绍、实现和应用说明
Spark推荐实战系列目前已经更新: Spark推荐实战系列之Swing算法介绍.实现与在阿里飞猪的实战应用 Spark推荐实战系列之ALS算法实现分析 Spark中如何使用矩阵运算间接实现i2i F ...
双目立体视觉建立深度图_从单幅图像到双目立体视觉的3D目标检测算法
原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的. 其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明 ...
万字长文概述单目3D目标检测算法
一,理论基础-相机与图像相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述,这个模型有很多种,其中最简单的称为针孔相机模型.相机的成像过程是也一个射 ...

推荐业务多目标建模算法介绍：MMOE、OMOE、Shared-Bottom

算法结构介绍

效果说明

推荐业务多目标建模算法介绍：MMOE、OMOE、Shared-Bottom相关推荐

最新文章

热门文章