SIGIR2020 | 一种新颖的推荐系统重训练技巧
背景
事实上,在推荐系统的学术研究中,我们过于关注模型的创新,而忽视了落地可行性以及实用性。这与模型的新颖度和复杂度不同,是另外一个层面的值得我们考虑的问题。因此,本文中所推荐的论文,是针对推荐系统的定期重训练需求设计的模型。本人认为这是一个不错的话题,因此推荐给大家。但是,本文并非对论文的翻译,而是将文中的想法和思路简明扼要地传递给大家,如想了解论文的全貌还请精读原始论文。
定期对推荐模型进行重训练是十分重要的。因为时间不会为了推荐系统而停止,但离线训练模型的结果却会。也就是说,我们不能用一个月前的离线训练结果来为此刻的用户做推荐。因为,用户的偏好可能随着时间已经发生了改变。这也是重训练的意义所在。我们可以定期更新用户的交互数据,来对模型进行重训练。
挑战
传统的重训练方式需要每隔一段时间重新训练整个用户数据,比如Period0用D0训练好模型之后上线,经过Period1服务用户一段时间后产生用户数据D1,因此为了捕捉用户当前的兴趣偏好,需要一起重新训练之前庞大的历史用户数据D0和新增加的用户数据D1。
以上介绍的传统重训练在策略的选择和资源的消耗上都是具有挑战的。
挑战:历史数据量随着时间的推移会越来越大,那么每一次重新训练数据量就越来越大,训练时间也会越来越长,消耗也就越来越大。
解决方案:针对历史数据,模型无需再进行模型训练。也就是说,我们只需要训练一次用户的历史数据即可。在未来的若干次重训练中,我们仅需要训练增量数据(用户新产生的数据)即可。这不仅避免了历史数据的重复计算,而且减少了训练能耗。
挑战:重训练只依据用户产生的新数据来更新模型,少量的新数据能够精确、全面、稳定地表达用户偏好信息呢?
解决方案:基于增量数据规模小的特点,模型采用了迁移的思路,将学习历史训练数据的经验,迁移到新的增量数据的学习上。这就避免了重训练仅包含增量数据的问题。
因此作者设计了一种顺序元学习的方法(SML)。该元学习机制是在顺序数据上,所以被命名为顺序元学习方法。
模型
整个模型可以简化为两个部分:
(1)表达转移组件。构建一个表达传递组件,将先前训练中获得的知识转移到新交互的训练中。我们将传递组件设计为卷积神经网络(CNN),该卷积神经网络将先前的模型参数输入为常量,将当前模型的输入作为可训练参数。合理性在于,先前训练中获得的知识会集中在模型参数中,这样,表达性神经网络就应该能够将知识提炼到所需的目的。
重训练的流程可以由下图看到:其中,为当前时刻,表示之前的推荐模型,是基于新的数据的推荐模型。整个转移组件的作用是联合历史推荐模型和新数据推荐模型的知识,并服务于下一时刻的预测。
(2)顺序训练方法。将提出的表达转移组件用于对未来一段时间的推荐,以优化转移组件在推荐上的表现。除了对新收集的交互进行常规训练外,我们还对下一个时间段的未来交互进行了传输CNN训练。因此,CNN可以了解如何将旧参数与当前参数结合起来,目的是预测附近的用户互动。每个时间段的重新训练是一项任务,它具有当前时间段的新交互作为训练集,而下一时间段的将来交互作为测试集。训练集为历史数据与当前时段的新的交互,测试集为下一时间段的未来交互数据。具体顺序性的训练算法如下图所示:
更多模型细节和训练方法请移步论文原文:
Paper: How to Retrain Recommender System? A Sequential Meta-Learning Method
Link: https://arxiv.org/pdf/2005.13258.pdf
Code: https://github.com/zyang1580/SML
「 更多干货,更多收获 」【干货】如何从0到1构建用户画像系统?推荐系统的进化伙伴:腾讯看点投放系统介绍深度学习在推荐系统中的应用【报告分享】2020年中国知识图谱行业研究报告.pdf自然语言处理技术在推荐系统中的应用和发展【电子书分享】美团机器学习实践.pdf
关注我们
智能推荐 个性化推荐技术与产品社区 |
长按并识别关注 |
一个「在看」,一段时光????
SIGIR2020 | 一种新颖的推荐系统重训练技巧相关推荐
- INFOCOM 2021最佳论文奖:一种新颖的分布式算法提高在GPU集群上训练大型AI模型的效率
INFOCOM 2021最佳论文:Exploiting Simultaneous Communications to Accelerate Data Parallel Distributed Deep ...
- jdk重启后步行_向后介绍步行以一种新颖的方式来预测未来
jdk重启后步行 "永远不要做出预测,尤其是关于未来的预测." (KK Steincke) ("Never Make Predictions, Especially Ab ...
- 开源人工智能算法一种新颖的超像素采样网络深层特征来估计任务特定的超像素
开源人工智能算法一种新颖的超像素采样网络深层特征来估计任务特定的超像素摘要: 超像素提供图像数据的有效低/中级表示,这极大地减少了后续视觉任务的图像基元的数量. 现有的超像素算法无法区分,因此难以集成 ...
- ICCV2021|武汉大学RSIDEA团队提出一种新颖的弱监督遥感变化检测算法STAR
关注公众号,发现CV技术之美 论文: https://arxiv.org/pdf/2108.07002.pdf 项目: https://zhuozheng.top/changestar/ 代码: ht ...
- 推荐系统预训练任务的研究进展
© 作者|陈昱硕 机构|中国人民大学高瓴人工智能学院硕士 研究方向 | 推荐系统 引言: 最近几年,各种预训练模型在NLP,CV等领域都取得了显著的效果.最近的一些工作也开始在研究如何将预训练与推荐系 ...
- 磁共振指纹:一种新颖的定量磁共振技术
前言 磁共振指纹(MRF,MR fingerprinting)是一种新颖的定量磁共振技术,可以在较短的扫描时间内同时量化多种组织特性.自2013年首次发表在<Nature>杂志上以来,该技 ...
- NeurIPS 2021 | 寻MixTraining: 一种全新的物体检测训练范式
来源:专知 本文附论文,建议阅读5分钟物体检测是计算机视觉中的基础课题. MixTraining: 一种全新的物体检测训练范式 论文链接: https://www.zhuanzhi.ai/paper/ ...
- 模型压缩6倍,无需重训练:数学家团队提出量化新方法
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要5分钟 Follow小博主,每天更新前沿干货 作者|小舟 来源|机器之心 RUDN 大学的数学家团队找到一种新方法,该方法能够让神经网络的大小 ...
- python做商品推荐系统_一种商品智能推荐系统的设计的制作方法
一种商品智能推荐系统的设计,其技术领域涉及web技术.Java语言的开发和数据库的建立. 背景技术: 近年来,互联网信息的增长十分迅速,基于电子商务模式的商品销售已经变得十分普及,如何为如此庞大的商品 ...
最新文章
- 2020 年 6 月编程语言排行榜,C 稳居第一,Rust 首进 Top 20!
- MySQL存储写入速度慢分析
- anaconda与pip 清华镜像源
- SpringMVC(三)——JSON
- boost::next_permutation相关的测试程序
- github推送错误:已经有此代码,不允许覆盖的解决方法
- BeanFactory作为 IoC 容器示例
- git删除本地分支、删除远程分支 复制分支
- 最长非下降子序列(O(nlogn))(offer收割)
- TCP传输过程中丢包问题
- 施工部署主要不包括_专项施工方案编制至少应该包括以下内容及管片选型主要依据以下原则...
- 面试官问你Java内存区域你用new创建对象来解释
- 南阳58--最小步数(BFS)
- 《骆昊-Java面试题全集(中)》学习笔记_2018_12_17
- 微信小程序—轮播图+背景变化
- 计算机课程成绩认定管理办法,全日制普通本科生课程学分成绩对接认定管理办法...
- 远程服务器镜像,NAS服务器的远程镜像技术.pdf
- 三国演义人名爬取与处理
- 详细 C语言自增自减运算符区分 ++n和n++
- 通俗解释NLP任务四种评价指标(BLEU,METOR,ROUGH,CIDEr)