SparrowRecSys电影推荐系统项目（一）
SparrowRecSys电影推荐系统项目（一）
- 前言
- 一、SparrowSystems总体架构图
- 二、数据部分
- 三、模型部分
前言
SparrowrecSys推荐系统是王喆老师非常好的一个项目实战，我打算把这个项目弄懂并深入挖掘自己喜欢的领域。
一、SparrowSystems总体架构图
这个架构图逻辑清晰，将整个推荐系统分为3部分：数据部分、模型部分、前端部分。
二、数据部分
推荐系统数据部分主要负责的是用户、物品、场景信息的收集，根据处理数据量和实时性不同，按照实时性强弱进行排序，主要有三种数据处理方式：客户端与服务器端实时数据处理、流处理平台实时数据处理、大数据平台离线数据处理。
主要大数据平台：Spark、Flink.
大数据平台输入：推荐系统日志、物品和用户数据信息。
疑问：日志是怎么生成的？物品和用户数据信息要被处理成什么格式？
大数据平台输出：
1.训练阶段：生成模型所需要的样本数据，用于算法模型的训练和评估
2.推断阶段：生成线上服务层用户特征、物品特征和一部分场景特征，用于推荐系统线上推断。
场景特征：上下文信息，比如天气。
三、模型部分
推荐系统模型部分由三部分组成：召回层（粗排）、排序层（精排）、补充策略与算法层。
召回层：召回层一把采用简单高效的算法模型从还海量的候选集中召回用户可能感兴趣的物品，召回的物品在几百量级。
排序层：排序层将召回层筛选的物品进行进行精排序，最终得到物品量级在几十量级。
补充策略与算法层：为了兼顾结果的多样性、流行度、新鲜度等指标，对精排后的物品进行一定的调整，得到最终用户可见推荐列表。
总结：推荐模型接受所有物品候选集到最后产生推荐列表，这一过程叫做模型服务过程，模型服务过程中的参数需要通过模型训练确定模型结构、结构中不同参数权重的具体数值，以及相关模型算法策略中的参数取值。
模型训练方法：
1.离线训练：利用全量样本和特征，使模型逼近全局最优点。
2.在线更新：实时消化新的数据样本，更快地反应新的数据变化趋势，满足模型实时性的要求。
模型测试方式:
1.离线测试:Holdout检验、交叉检验、自助法、时间切割法、Replay
2.在线测试：A/B test
SparrowRecSys电影推荐系统项目（一）相关推荐
- 项目体系架构设计——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（四）
系列文章目录 初识推荐系统--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(一) 利用用户行为数据--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(二) 项目主要效果展示--基 ...
- 利用用户行为数据——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（二）
系列文章目录 初识推荐系统--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(一) 利用用户行为数据--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(二) 项目主要效果展示--基 ...
- 基础环境搭建——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（五）
系列文章目录 初识推荐系统--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(一) 利用用户行为数据--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(二) 项目主要效果展示--基 ...
- 实时推荐服务建设——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（八）
系列文章目录 初识推荐系统--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(一) 利用用户行为数据--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(二) 项目主要效果展示--基 ...
- 电影推荐系统项目 介绍(一)
美图欣赏: 一.新鲜一感 半山腰总是挤的,记得上山顶看看,那里有最好的星空 二.项目介绍 1..推荐系统是什么? 信息过载时代所采用的措施.面对海量的数据信息,从中快速推荐出符合用户特点的物品. 受众 ...
- Python+Django+Mysql实现在线电影推荐系统 基于用户、项目的协同过滤推荐在线电影系统 代码实现 源代码下载
Python+Django+Mysql实现在线电影推荐系统(基于用户.项目的协同过滤推荐算法) 一.项目简介 1.开发工具和实现技术 pycharm2020professional版本,python3 ...
- mysql项目案例电影_Python+Django+Mysql实现在线电影推荐系统 基于用户、项目的协同过滤推荐在线电影系统 代码实现 源代码下载...
Python+Django+Mysql实现在线电影推荐系统(基于用户.项目的协同过滤推荐算法) pycharm2020professional版本,python3.8版本,django3.1.1版本, ...
- Django基于用户画像的电影推荐系统源码（项目源代码）
一.项目介绍 公众号:yk 坤帝 获取全部源代码 本系统是以Django作为基础框架,采用MTV模式,数据库使用MongoDB.MySQL和Redis,以从豆瓣平台爬取的电影数据作为基础数据源,主要基 ...
- Python基于Django的电影推荐系统和论坛项目完整源码
前些天发现了十分不错的人工智能学习网站,通俗易懂,风趣幽默,没有广告,分享给大家,大家可以自行看看.(点击跳转人工智能学习资料) 微信公众号:创享日记 发送:电影论坛 获取完整论文报告+项目源码源文件 ...
- java项目-第96期基于ssm+hadoop+spark的电影推荐系统-大数据毕业设计
java项目-第96期基于ssm+hadoop+spark的电影推荐系统 [源码请到资源专栏下载] 1.项目简述 电影推荐系统,基于大数据分析的推荐系统,适合学习和企业应用. 首先电影推荐相对于其它推 ...
最新文章
- python中time模块常用功能
- dxf转nc代码软件_eCAM高速激光加工软件
- Android程序为什么没有退出设计?
- 阿里云centos 6.3 安装宝塔nginx面板无法远程mysql数据库和无法FTP连接问题解决方法
- Java设计模式(四)：工厂设计模式
- 【娱说】会玩游戏的人才能更快的在未来商业中“打怪升级”
- CDH6.3.2默认管理端口是7180,HDFS相关端口
- POJ - 2528 Mayor's posters(线段数+离散化)
- SqlServer 备份还原教程
- python canvas画移动物体_Python GUI编程入门(25)-移动Canvas对象
- 深度CTR预估模型中的特征自动组合机制演化简史
- 一文读懂cooie和session
- Windows10永久关闭自动更新，禁止windows10自动更新方法！
- 伯朗特机器人编程语言_机器人十大流行编程语言
- Win10系统安装office后excel等文件图标显示异常
- es7 如何从项目resource读取index的mapping、setting.json文件
- 计算机之父童年的故事教学设计,计算机之父童年的故事 教学设计
- Cartographer论文精读-Real-Time Loop Closure in 2D LIDAR SLAM
- Android 面试题合集 - 收藏集 - 掘金
- Dobot机械臂的Python Demo