大数据之-Hadoop_推荐系统框架图---大数据之hadoop工作笔记0015

然后我们来看一下推荐系统的架构是什么样子的,

比如你购买完淘宝的商品以后他就会自动的给你推荐类似的产品.

从上面可以看到,比如我要买海狗人参丸,那么当我们点击这个商品,会给nginx发送请求,然后

这个请求的记录,会被tomcat等收集,这里也就是收集用户的行为日志.

收集起来这个用户的购买行为日志以后,然后把这个日志数据,属于稳健日志,然后

通过flume进行日志收集,收集以后存到hdfs文件中存储,或者存到hbase中,但最终都是存到hdfs中,

然后再通过yarn进行调用,计算资源,比如利用spark streaming去进行实时计算,获取该用户的,历史商品访问数据,同时获取,系统中的

其他商品数据,结合用户本次购买的商品数据,把类似商品找到.

找到以后:

大数据之-Hadoop_推荐系统框架图---大数据之hadoop工作笔记0015相关推荐

大数据之-Hadoop_大数据技术生态体系---大数据之hadoop工作笔记0014
然后我们来看看,既然说到大数据,我们来看看他的整个的技术体系. 可以看到,首先最底层是数据来源层. 可以看到我们的数据,可以来至于 1.数据库,结构化的数据,比如订单信息 2.还有文件日志,半结构化的 ...
大数据分析常用组件、框架、架构介绍（Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase）
在正式开始介绍大数据知识之前我们先来了解一下一些大数据常用名词,如果您是"过来人"的话,可以直(jia)接(shen)跳(yin)过(xiang):如果您是新手的话,可以带着对新鲜 ...
大数据之-Hadoop之HDFS的API操作_定位读取文件_只读取某个block的内容_案例---大数据之hadoop工作笔记0065
然后我们再来看看,如果我们的文件比较大,比如一个文件有10g,这个如果是个日志文件的话, 我们只读取最新的128M可以嘛? 因为我们只关心最新的日志对吧. 是可以的. 首先我们上传一个大点的文件,去h ...
seaborn添加数据标签_常见Seaborn图的数据标签快速指南
seaborn添加数据标签 In the course of my data exploration adventures, I find myself looking at such plots ( ...
大数据之-Hadoop_组成---大数据之hadoop工作笔记0013
然后我们再来看看这个hadoop的组成吧可以看到namenode相当于目录,而datanode才是武功秘籍要知道hadoop,由namenode:存元数据 datanode:存数据 seconda ...
大数据之-Hadoop_环境搭建_JDK安装---大数据之hadoop工作笔记0017
然后我们再去安装一下jdk的环境,首先,我们说明一下我们的目录规则我们在opt下,放所有的软件和解压后的软件,这里 software ,我们放所有的tar包,然后解压后的文件我们放到module中去 ...
大数据之-Hadoop_环境搭建_虚拟机准备---大数据之hadoop工作笔记0016
然后我们来安装虚拟机环境首先我们要准备一个centos的虚拟机这里我用的是,桌面版的. 我们如果以前有做好的,可以克隆以前的. 点击下一步
大数据之-入门_Hadoop是什么---大数据之hadoop工作笔记0008
hadoop 是基础架构,hive spark hbase都是基于hadoop才去实现的. 可以看到hadoop是一个生态圈,里面有hbase,bigtop, zookeeper,hama,solr, ...
大数据之-入门_大数据部门组织结构(重点)---大数据之hadoop工作笔记0007
hadoop,flume,kafka,hbase,spark等需要去采集数据,这里分为开发和运维,开发是去搭建这个平台,运维保证他们正常运行这里最好,把他们的源码都,研究明白.最好还能改改,从新把源 ...

大数据之-Hadoop_推荐系统框架图---大数据之hadoop工作笔记0015

大数据之-Hadoop_推荐系统框架图---大数据之hadoop工作笔记0015相关推荐

最新文章

热门文章