【编程开发】某风网大数据推荐系统算法工程师项目实战

1 Lambda架构

1.Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图。
2.分层架构：批处理层、实时处理层、服务层

一些框架：

应用举例

2 批处理层

1.数据不可变
2.可以进行任何计算
3.水平扩展——数据量大
4.高延迟——根据计算量和数量不同，运行时间可能几分钟到几个小时

HDFS不适合存储大量的小文件，适合连续的流式的访问。HBASE 满足随机的访问，满足海量数据的存储。二者互补

存储量比较大可以考虑HBASE，但是不能汇总，属于NoSQL；
Cassandra数据NoSQL，没有固定的主节点，就是挂掉一个节点也没有关系；
Impala满足前段交互式的访问，mpp架构；
Redis、memcache高效推送、展现，但是可靠性不高，Redis相对好一些；
MySQL关系型数据库

3 实时处理层

1.流式处理：storm
2.持续计算
3.存储和分析某个窗口的数据：比如5分钟内
4.最终确定性：有些算法很难实时计算，此时采用估计值即可

批处理层与实时处理层的视图存储数据库相同

4 服务层

1.支持随机读
2.需要在非常短的时间内返回结果
3.读取batch layer 和 speed layer结果，并对其归并

笔记 | 推荐系统 —— lambda架构相关推荐

推荐系统lambda架构学习笔记之推荐系统（一）
推荐系统个性化推荐(推荐系统)经历了多年的发展,已经成为互联网产品的标配,也是AI成功落地的分支之一,在电商(淘宝/京东).资讯(今日头条/微博).音乐(网易云音乐/QQ音乐).短视频(抖音/快手) ...
推荐系统lambda架构学习笔记之推荐系统算法（二）
推荐系统算法随着机器学习技术的逐渐发展与完善,推荐系统也逐渐运用机器学习的思想来进行推荐.将机器学习应用到推荐系统中的方案真是不胜枚举.以下对Model-Based CF算法做一个大致的分类: 基于 ...
推荐系统lambda架构学习笔记之Hadoop、HDFS、YARNMapReduce（三）
Hadoop Hadoop介绍 Hadoop名字的由来作者:Doug cutting Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名 Hadoop的概念: Apache™ Hado ...
Lambda架构与推荐在电商网站实践
王富平现为1号店搜索与精准化部门架构师,之前在百度从事数据挖掘相关工作,对实时处理有着深刻的研究.一直从事大数据相关研发工作,2013年开发了一款SQL实时处理框架,致力于建设高可用的大数据业务系 ...
推荐系统-07-lambda架构
Lambda 架构 Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错.低延迟.可扩展等.其整合离线计算与实时计算,融合不 ...
第十七期:详解大数据处理中的Lambda架构和Kappa架构
在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据产品或者自己开发相关大数据组件. 典型互联网 ...
聊聊Lambda架构
定义在数据分析场景中,我们可能会遇到这样的问题.例如,我们要做一个推荐系统,如果我们用批处理任务去做,一天或者一小时的推荐频次明显延迟太大.如果用流处理任务,虽然延迟的问题解决了,然而只用实时数据而 ...
大数据平台数据处理之Lambda架构和Kappa架构
首先我们来看一个典型的互联网大数据平台的架构,如下图所示: 在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使 ...
Lambda 架构：强大的数据工程方法
在大数据和分析领域,高效且有效地处理和管理大量数据是一项关键挑战.数据工程师在设计和实施处理此类数据洪流的解决方案方面发挥着关键作用.近年来越来越流行的一种方法是 Lambda 架构,这是一个强大的框 ...

笔记 | 推荐系统 —— lambda架构

1 Lambda架构

2 批处理层

3 实时处理层

4 服务层

笔记 | 推荐系统 —— lambda架构相关推荐

最新文章

热门文章