上周我们在Youtube: 多任务目标推荐今天我们继续看多任务的知识点应用。

应用场景

在Gmail中搜索时，会去查询Google Drive中的文件，而且是per-key的，即每输入一个字符，都会触发查询操作。

这个功能看起来对很多用户来说用处没有那么大，因为用户在gmail的搜索框里搜索一般意图就是搜索email。而且给Google Drive带来了很大的访问压力。但也有不少用户会使用这个功能。因此，需要用模型来解决这个问题。

模型需要根据用户的的行为来预测两个目标：

• Google Drive结果的点击数

• 用户在Gmail里搜索所输入的字符数

这两个目标都是以天为单位的。

得到这两个目标之后，当然，就会希望在那些点击数少且输入字符数多的用户上disable这个功能。需要在它们之间做平衡考虑。

之所以要预测这两个任务是出于商业和产品的考虑，例如，当Google Drive能够处理的request容量够大的时候，可以考虑放宽阈值，让更多的用户看到这个功能。

产品精细化的处理可以很细节，这个场景足够小了，但是依然可以用AI解决。

基于这个场景，可以发现问题的几个特点：

• 数据稀疏，搜索过程中Google Drive文件的结果点击次数很稀疏。

• 数据异构，除了用户在gmail中搜索的行为外，用户在Drive上的行为也很重要，因此，Gmail的search日志，浏览日志，Drive的活动日志数据都需要考虑进来。

• 目标复杂，用户如何点击和输入依赖于用户的意图。

MoSE

MoSE，是Mixture of Sequential Experts的缩写。相对于我们之前介绍的MoE: 稀疏门控制的专家混合层

首先看模型整体结构如下，可以看到，每个Expert都是Sequential模型而不是FC模型。

多对多序列模型直接用LSTM就好：

模型公式如下，核心就是g(x)门限函数，就是对expert加权用的。

其他的baseline

论文用了多种变种作为baseline。如下图：

实验

实验结果如下，可以看到，在两个目标的预测上，MoSE都能达到很好的效果，除此之外，sequential的模型比非Sequential的模型也要好。

一起交流

想和你一起学习进步！『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定要备注信息才能通过）

参考文献

• [1]. Qin, Z., Cheng, Y., Zhao, Z., Chen, Z., Metzler, D., & Qin, J. (2020, August). Multitask Mixture of Sequential Experts for User Activity Streams. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 3083-3091).

- END -

Don't stop pretraining，继续预训练！

2021-10-10

GPT Plus Money！B O O M

2021-10-09

召回 粗排 精排，如何各司其职？

2021-10-06

图神经网络中可能用到的11种距离, 小结

2021-10-05