实时个性化推荐系统简述

传统的个性化推荐系统，都是定期对数据进行分析，然后对模型进行更新，进而利用新的模型进行个性化推荐。由于是定期更新模型的，推荐模型无法保持实时性，推荐的结果可能不会非常精准。

例如网易云音乐的用户，假如用户这会儿无意中听到了一种曲风，觉得这种曲风很好听，连续听了好几首这样子的歌曲。如果我们的推荐系统没有做到实时性，那么给用户推荐的依然是他过去爱听的，无法立即推荐给用户他刚刚听的那些歌的曲风，这就没有很好的符合用户的需求。

再举个例子，比如用户新访问一个网站，如果网站能够做到实时性，就可能根据用户访问网站的这一小段时间内的行为给用户推荐到用户需要的信息。

实时性很大的好处在于，一方面更准确的为用户进行推荐，另一方面是用户可以根据实时性的推荐结果更快进行反馈，进而可以对推荐模型进行尽快更新，使得推荐模型更加精确。

实时个性化推荐系统，与传统个性化推荐系统，不仅在算法上有部分差别，更主要是系统架构上有很大差别。

首先在算法上。由于实时性的要求，使得算法本身在实时计算的部分不能太复杂，否则无法快速得到结果。在算法设计上，可以将推荐算法拆分成两部分——实时部分和离线计算部分。可以利用离线部分将算法中可以离线计算的部分尽可能多的预先计算好，一般是数据量大并且是复杂的全局计算模型。然后将少量的增量更新计算留给实时计算部分，一般是轻量级的指定用户模型训练或者更新逻辑。

对监督式学习，传统的分类方法不太合适，Matrix Factorization的方法是一个较好的方法，因为它的部分因子可以预先离线计算，其他部分可以实时增量更新来获取最新的结果。

对无监督式学习，一般指聚类，也是可以提前离线计算出聚类的中心的，然后供实时计算使用。

然后讲一下架构。下图是NetFlix的实时推荐系统系统架构图。

系统被分为3部分， online，nearLine和离线部分(offLine)。Online和nearLine部分一起认为是实时部分。

离线部分就是传统的个性化推荐系统的主体，定期将大量存储的数据拿出来进行批处理运算，然后对模型进行建立与更新，这里就不详细介绍了。

nearLine部分，是将用户产生的事件，利用流式计算得到一些中间结果，这些中间结果一方面发送给online部分用于实时更新推荐模型，另一方面将中间结果存储起来，例如存储在MemCached、Cassandra、MySql等可以快速查询的存储中作为备份。在NetFlix的系统中，他们的流式计算是通过一个叫做NetFlix.Manhattan来实现的，它是一个类似于Storm的实时流式计算框架，只是针对他们自己的应用有一定的特异性，不是通用的实时计算框架。

然后是online部分。这一部分利用离线部分的主体模型并考虑nearLine部分的实时数据对模型进行增量更新，然后可以得到一个实时的推荐模型，进而根据用户的行为来对用户进行实时推荐。

个性化推荐系统架构的关键问题，就是如何以无缝方式实现在线和离线计算过程，说到底，也是算法的设计，如何将算法的计算步骤合理分配到各个部分，使得得到的模型既可以非常准确，又可以快速计算出来以满足实时性的要求。

转载地址：http://backend.blog.163.com/blog/static/20229412620136553130281/

转载于:https://www.cnblogs.com/iplus/p/4489927.html

实时个性化推荐系统简述相关推荐

推荐系统基础（2）：个性化推荐系统简述
1.推荐系统含义.目标推荐系统根据用户的历史.社交.上下文环境等信息去判断用户当前感兴趣的内容. 推荐系统的业务: 物料组装:生产广告,实现文案.图片等内容的个性化物料召回:在大量内容中召回一个子 ...
「构建企业级推荐系统系列」实时个性化推荐介绍
作者 | gongyouliu 编辑 | auroral-L 随着互联网的深入发展和产品布局的多元化,越来越多的企业通过提供快节奏的产品及服务消耗用户的碎片化时间,从而赢得用户的青睐.这类产品通过便捷 ...
达观数据于敬：个性化推荐系统实践
达观数据于敬:个性化推荐系统实践在DT(data technology)时代,网上购物.观看视频.聆听音乐.阅读新闻等各个领域无不充斥着各种推荐,个性化推荐已经完全融入人们的日常生活当中.个性化推荐 ...
个性化推荐系统(一)---今日头条等的内容划分、分类
这篇文章搞头条号.运营知乎等流量的兄弟们可以看看,可以让你了解到你的文章是怎么被推荐的.通过很好的配合头条.知乎等的技术架构.机制可以增加你文章的曝光. 今日头条以前进入各大app的流量主要被几部分刮 ...
读书笔记 |《推荐系统实践》- 个性化推荐系统总结
-- 原创,未经授权,禁止转载 2017.11.15 -- 推荐系统实践对于推荐系统,本文总结内容,如下图所示: 推荐系统.png 文章很长,你可以跳着看你感兴趣的部分. 一.什么是推荐系统 1. ...
技术分享 | 个性化推荐系统商业化的五大要素
本文转载自达观数据(id:Datagrand_). 在日前举行的2017 CSDI 中国软件研发管理行业峰会上,包括摩拜单车创始人及CTO夏一平.华为首席系统工程专家徐琦海.京东云.携程等一线互联网企 ...
【回顾】如何搭建一套个性化推荐系统？
个性化推荐系统,设计的巧妙就可以立竿见影地提升运营效率和用户转化率,尤其在内容分发.电商.社交等领域实践相当出彩(微博.各新闻门户.头条.京东.探探等都取得了不错的成绩),个性化推荐已经成为一个产品的 ...
区块链在个性化推荐系统中的应用研究综述
区块链在个性化推荐系统中的应用研究综述许小颖, 陈熙, 陈源, 谢永靖华南理工大学工商管理学院摘要:区块链作为一种新兴技术,以其去中心化.难以篡改.匿名性和可追溯性等特点,为个性化推荐系统的改进 ...
python个性化推荐系统毕业设计_个性化推荐系统架构设计（一）
原标题:个性化推荐系统架构设计(一) 互联网在不断发展,技术在不断演变.作为架构师,工程管理者需要与时俱进. 个性化推荐是一个由数据挖掘和机器学习的综合学科,它基于用户兴趣和喜好,提供相关服务精准的推 ...

实时个性化推荐系统简述

实时个性化推荐系统简述相关推荐

最新文章

热门文章