电商大数据分析平台项目（一）项目框架

一、项目简介

这段时间自己从网上找了一个项目课程，学着做了一个电商大数据分析平台，不过较为简陋，知识作学习用。

项目环境：windows10+hadoop2.7.7+hbase2.1.0+flume1.7.0+nginx+3台linux虚拟机（三台虚拟机搭建一个hadoop完全分布式集群，同将主节点配置nginx服务器）
项目需求：对给定时间段内登陆过某网站的用户进行统计分析，具体包括不同条件下新增用户统计，用户的地域分析，访问深度分析等。

二、项目架构

三、流程讲解

开发可以在web项目中内嵌的js sdk。每当用户浏览到网站页面或者触发某种事件时，会调用js代码，根据用户cookie发送一个session信息这时到我们的nginx服务器中。
nginx服务器在接收到发送的session后会将其写入日志文件中记录下来，这时监听日志文件的flume会将session信息提取出来并写入hdfs中。
编写mapreduce程序对hdfs中的数据进行ETL，具体为把session信息分类，解析ip，解析useragent等，将ETL后的数据写入HBase中。（也可以写入hdfs中，写入hdfs中更加简单一些，但是因为是训练项目，所以想把所有组件用一下，所以就写入HBase中了）
将HBase中的数据再提取出来，编写mapreduce进行进一步处理，即项目中的核心步骤，对这些用户信息进行分析，统计等，将结果信息写入mysql中。

电商大数据分析平台项目（一）项目框架相关推荐

从0到1搭建电商营销数据分析平台(一)
欢迎关注公众号--<数据三分钟> 一线大厂的师兄师姐结合自己的工作实践,将数据知识浅显道来,每天三分钟,祝你成为数据达人.还有面试指导和内推机会. 电商领域数据是最重要的能源,数据的力量正 ...
电商大数据平台运维案例
技术栈数据流向平台规模差异化,隔离化 YARN: https://baike.baidu.com/item/yarn/16075826?fr=aladdin 今天先到这儿,希望对您在系统架构设计 ...
618电商大数据分析可视化报告
原文链接:http://tecdat.cn/?p=1078 618购物狂欢节前后,网民较常搜索的关键词在微博.微信.新闻三大渠道的互联网数据表现,同时通过分析平台采集618相关媒体报道和消费者提及数据 ...
从0到1搭建电商营销数据分析平台(六)——聊聊反作弊
欢迎关注公众号--<数据三分钟> 一线大厂的师兄师姐结合自己的工作实践,将数据知识浅显道来,每天三分钟,助你成为数据达人.还有面试指导和内推机会. 任何一个平台,无论设计得 ...
从0到1搭建电商营销数据分析平台(五)——流批一体架构
欢迎关注公众号--<数据三分钟> 一线大厂的师兄师姐结合自己的工作实践,将数据知识浅显道来,每天三分钟,助你成为数据达人.还有面试指导和内推机会. 传统的LAMDA架构取得 ...
奥威BI，适合中国电商的大数据分析平台
电商数据分析做得好不好,除了分析思维这类主要因素外,大数据分析平台的选择也尤为重要.从电商数据分析实际体验来看,电商行业需要大数据分析平台需满足海量数据秒分析.数据直观易懂.操作简单易上手这三大基础要 ...
面试项目2：基于Spark2.x的电商大数据统计分析平台
基于Spark2.x的电商大数据统计分析平台 0.版本&语言 1.数据介绍 1.1 数据来源 1.2 数据概览 2.用户访问session分析(Spark Sql) 2.1 需求 2.2 实现 ...
电商大数据项目-推荐系统实战（一）
电商大数据项目-推荐系统实战(一)环境搭建以及日志,人口,商品分析 https://blog.51cto.com/6989066/2325073 电商大数据项目-推荐系统实战之推荐算法 https:/ ...
电商大数据项目-推荐系统实战之推荐算法（三）
电商大数据项目-推荐系统实战(一)环境搭建以及日志,人口,商品分析 https://blog.51cto.com/6989066/2325073 电商大数据项目-推荐系统实战之推荐算法 https:/ ...

电商大数据分析平台项目（一）项目框架

一、项目简介

二、项目架构

三、流程讲解

电商大数据分析平台项目（一）项目框架相关推荐

最新文章

热门文章