基于Pytorch的多任务推荐系统开源框架
省时查报告-专业、及时、全面的行研报告库
省时查方案-专业、及时、全面的营销策划方案库
【免费下载】2022年2月份热门报告盘点
深度解析开源推荐算法框架EasyRec
机器学习在B站推荐系统中的应用实践
小红书推荐系统中台应用实践
微信视频号实时推荐技术架构分享
MTReclib是基于PyTorch开发的用于多任务推荐系统的开源框架。在MTReclib中，我们实现了诸多经典的多任务推荐模型，并且提供了4个多任务数据集以及相应结果。该框架易于扩展，基于该框架设计新的多任务模型或者尝试新的数据集十分方便。MTReclib地址：
https://github.com/easezyc/Multitask-Recommendation-Library
一、总体介绍
在推荐系统中存在多样的预测任务，比如CTR预估和CVR预估。以前的方法通常针对每个预测任务进行独立建模。事实上，任务之间存在联系，联合建模多个任务可以同时提升多个任务的效果。因此，多任务推荐有着极高的研究价值和广泛的实践应用。该工具包旨在为大家提供多任务推荐模型及数据，促进多任务推荐的研究和实践。MTReclib已提供7种多任务模型的实现，包括SingleTask, Shared-Bottom, OMoE[1], MMoE[2], PLE[3], AITM[4], MetaHeac[5]。并且基于AliExpress数据集[6]中的四个国家（Spain, French, Netherlands, and America）进行了实验。
二、方法介绍
SingleTask: 针对每个任务单独训练一个模型，常用作多任务学习的baseline。
Shared-Bottom: 一种简易的多任务模型，采用底部共享的模式，每个任务有一个单独的头部(tower)。
OMoE[1]将共享的底层结构分为了多个专家（每个专家是一个前向神经网络），使用一个所有任务共享的gate，来以不同权重聚合多个专家提取的表示，是一种软共享机制。相比于Shared-Bottom model，MoE细化了Bottom的共享。
MMoE: 在MoE中，不同任务的gating值相同，使得送入不同任务tower的特征表示相同。MMoE为了更好的建模任务间的关系，将MoE中的gate改进为任务特定的，每个任务有一个单独gate来控制多个Expert的权重。
PLE: 考虑到任务间可能存在冲突，导致多任务学习中一个任务效果上升另一个任务效果下降的情况。PLE将MMoE的底部进一步拆分为了任务共享（Task-shared）和任务特定（Task-specific）的模块。该文章被评为RecSys2020 Best Paper。
AITM: 任务间存在显式的依赖，比如在广告中，只有点击了才可能发生转化的行为，因此这篇文章提出了一种自适应的信息迁移模块来建模任务间的序列依赖，从前面的任务向后面的任务迁移知识。
MetaHeac不再采用底部共享头部分离的模式，而是将头部改为gate加权共享的方式，并且采用元学习来进行训练，取得了不错的效果。
三、结语
MTReclib工具包将会长期维护并保持更新，后续还会增加更多多任务推荐的方法和数据集，欢迎大家使用MTReclib作为多任务推荐系统研究和应用开发的工具。大家在使用过程中有任务和问题或是建议都欢迎提出，同时也欢迎大家一起开发、完善MTReclib这个工具包。
[1] Jacobs, Robert A., et al. "Adaptive mixtures of local experts." Neural computation 3.1 (1991): 79-87.
[2] Ma, Jiaqi, et al. "Modeling task relationships in multi-task learning with multi-gate mixture-of-experts." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
[3] Tang, Hongyan, et al. "Progressive layered extraction (ple): A novel multi-task learning (mtl) model for personalized recommendations." Fourteenth ACM Conference on Recommender Systems. 2020.
[4] Xi, Dongbo, et al. "Modeling the sequential dependence among audience multi-step conversions with multi-task learning in targeted display advertising." Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021.
[5] Zhu, Yongchun, et al. "Learning to Expand Audience via Meta Hybrid Experts and Critics for Recommendation and Advertising." Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021.
[6] Li, Pengcheng, et al. "Improving multi-scenario learning to rank in e-commerce by exploiting task relationships in the label space." Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020.
「 更多干货，更多收获 」
推荐系统工程师技能树
【免费下载】2022年2月份热门报告盘点
推荐系统的变与不变
腾讯信息流推荐业务实践大数据驱动的因果建模在滴滴的应用实践
联邦学习在腾讯微视广告投放中的实践机器学习在B站推荐系统的应用实践如何打造标准化的数据治理评估体系？【干货】小米用户画像实践.pdf（附下载链接）
推荐系统解构.pdf（附下载链接）
短视频爆粉表现指南手册.pdf（附下载链接）
推荐系统架构与算法流程详解如何搭建一套个性化推荐系统？某视频APP推荐策略详细拆解（万字长文）关注我们
|
智能推荐 个性化推荐技术与产品社区 |
长按并识别关注
|
一个「在看」，一段时光
点击我爱计算机视觉标星,更快获取CVML新技术 今天跟大家分享一款新晋开源的出自香港中文大学MMLab实验室的人脸识别库,其最大特点是支持人脸多任务训练,方便使用PyTorch进行人脸识别的训练.评估 ... 作者丨科技猛兽 编辑丨极市平台 清华大学自动化系智能计算实验室团队开源基于 PyTorch 的视频 (图片) 去模糊框架 SimDeblur. 基于 PyTorch 的视频 (图片) 去模糊框架 Si ... 加入极市专业CV交流群,与6000+来自腾讯,华为,百度,北大,清华,中科院等名企名校视觉开发者互动交流!更有机会与李开复老师等大牛群内互动! 同时提供每月大咖直播分享.真实项目需求对接.干货资讯汇总 ... 升阳云ERP基于互联网技术,采用开源框架体系进行研发并对企业开放源码,成功应用互联网云技术于传统制造业.由于成熟新技术的支撑,升阳云ERP与生俱来拥有了先进性.便利性.易用性.可扩展性. 升阳云ERP ... 往期精彩推荐: 略吊!Springboot+vue前后端分离快速开发平台-QuickD springboot炸翔版CMS开源系统 一个高颜值,方便使用的开源redis桌面客户端程序 这是一款国产略吊的 ... 快速索引 框架名称 上榜关键字 1.Retrofit 网络 2.okhttp 网络 3.Butter Knife 代码模板 4.MPAndroidChart 图表 5.glide 图片 6.leakc ... 中级.高级.资深工程师 知其然知其不可然 <框架百大排行榜>里所提到的流行词.流行术语--使用能力.融会贯通其原理.讲解框架能力的高低,将让你不断的在这三个级别徘徊: 会有意识的合并榜单里 ... 2019年 Android 开源框架 排行榜 TOP 50 1.Retrofit 一句话介绍:Retrofit是一款类型安全的网络框架,基于HTTP协议,服务于Android和java语言 上榜理由: ... 程序员界有个神奇的网站,那就是github,这个网站集合了一大批优秀的开源框架,极大地节省了开发者开发的时间,在这里我进行了一下整理,这样可以使我们在使用到时快速的查找到,希望对大家有所帮助! 1. ...基于Pytorch的多任务推荐系统开源框架相关推荐
最新文章
热门文章