基于Flink的电影数据实时统计平台(一):项目展示
文章目录
- 一、项目介绍
- 二、项目演示
- 2.1 前端观影/电影首页
- 2.2 前端观影/播放电影
- 2.3 数据查询/电影筛选
- 2.4 数据查询/评分细查
- 2.5 数据查询/可视化数据
- 三、相关博客
一、项目介绍
此项目是一个基于Flink的电影数据实时统计平台。
Github
链接:https://github.com/eurus10/uQiYi- B站视频演示与介绍:https://www.bilibili.com/video/BV1FU4y1h7GX/
项目前后端分离,前端项目为movie-web
,后端项目为movie
:
movie-web
:包含完整的Vue 2
项目,在目录下使用npm run dev
可直接运行movie
:集成了Maven
,Spring Boot
,Flink
,JDBC
,Kafka
等技术的后端。包含三个入口类:MovieApplication.java
:启动Spring Boot
程序,实现如下功能- 前端进行交互
- 从
MySQL
查询数据 - 将数据发送到
Kafka
ServerApplication.java
:Flink
计算程序,用于从Kafka
读取数据进行流计算,并将各项计算结果存储到MySQL
中DataSimulator.java
:评分数据模拟程序,可以完成两种任务:init
:初始化数据库produce
:模拟用户的评分行为,不断地产生大量的评分数据并发送到Kafka
项目的用户接口:
- 前台观影:
- 电影首页:猜你喜欢(推荐系统)、最近热播(流计算)
- 播放电影:播放电影(
HTML video
)、电影评分(Kafka
)
- 数据查询:
- 电影筛选(
JDBC
、MySQL
) - 评分细查(
JDBC
、MySQL
) - 可视化数据(流计算、
JDBC
、MySQL
)
- 电影筛选(
- 用户中心
- 用户信息
由于时间原因,上述用户接口中的推荐系统和用户中心尚未实现,"猜你喜欢"目前使用的是随机伪推荐,用户中心页面则尚未构建。另外,播放电影使用的是HTML
原生的video
标签,性能较差,并且尚未实现后端的连接查询。
二、项目演示
2.1 前端观影/电影首页
原本是个GIF
,结果文件太大传不上来,具体演示还是查看上方的B站视频演示吧,这里只能放几张截图。主要功能是每日推荐以及最近热播的展示,每日推荐涉及推荐系统,由于时间原因尚未完善(课设deadline
要到了。。。),最近热播则是每隔10s
更新一次。
10s
后:
2.2 前端观影/播放电影
此页面包含播放电影和电影评分功能。其中,播放电影由于不是此项目的重点所以做的比较随便,甚至没有连接后端。电影评分功能则需要提供电影ID、用户ID(没有做用户系统,所以无法自动获取)和评分数据。界面如下:
2.3 数据查询/电影筛选
通过电影平均评分和评分次数对电影进行筛选,界面如下:
2.4 数据查询/评分细查
细查每部电影的用户评分记录,界面如下:
2.5 数据查询/可视化数据
提供了流计算多项统计指标结果的实时展示,包括最近10s
内评分次数、历史评分次数变化、评分分布、Top
榜等等。原本也是GIF
,但文件过大无法上传,所以还是只能上截图,视频演示请移步B站。
“信息概览”Tab
:
一段时间后:
“电影数据”Tab
:
一段时间后:
三、相关博客
- 基于Flink的电影数据实时统计平台(二):项目结构
- 基于Flink的电影数据实时统计平台(三):前端构建
- 基于Flink的电影数据实时统计平台(四):后端项目构建与数据准备
- 基于Flink的电影数据实时统计平台(五):流计算业务实现
- 基于Flink的电影数据实时统计平台(六):后端业务实现
基于Flink的电影数据实时统计平台(一):项目展示相关推荐
- 基于Flink的电影数据实时统计平台(三):前端构建
文章目录 一.环境准备 二.前端构建 2.1 页面绘制 2.1.1 网站框架`App.vue` 2.1.2 前台观影/电影首页`Movie.vue` 2.1.3 前台观影/播放电影`Player.vu ...
- Flink原理解析50篇(四)-基于 Flink CDC 打通数据实时入湖
在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术,来解决业务数据实时入湖相关的问题. 0 ...
- 基于Flink CDC打通数据实时入湖
作者 | 数据社 责编 | 欧阳姝黎 在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎 Flink 和数据湖 Apache Ice ...
- Flink从入门到精通100篇(十九)-基于 Flink 的大规模准实时数据分析平台的建设实践
前言 如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基 ...
- 基于Flink百亿数据实时去重
基于传统的Set方法去重,以及弊端 去重处理方法: 需要一个全局 set集合来维护历史所有数据的主键.当处理新日志时,需要拿到当前日志的主键与历史数据的 set 集合按照规则进行比较,若 set集合中 ...
- 基于 Flink、ClickHouse 的舆情分析系统:项目展示与 Git 地址
一.基于 Flink.ClickHouse 的舆情分析系统 基于Flink.ClickHouse.ElasticSearch 的舆情分析系统 二.Git Code https://github.com ...
- 基于Flink的个人装扮商城群体用户画像与数据实时统计系统(六)-需求集C实现
文章目录 一.需求集C有什么? 二.模拟生成用户购买商品的信息 三.需求集C实现 一.需求集C有什么? 所有需求link:基于Flink的个人装扮商城群体用户画像与数据实时统计系统(二)-项目介绍与需 ...
- 网络安全公司奇安信集团是如何基于 Flink 构建 CEP 引擎实时检测网络攻击【未来不可忽视的网络安全】
摘要: 奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面: 背景及现状 技术架构 产品及运 ...
- 基于Flink的高可靠实时ETL系统
GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的,面向架构师.技术负责人及高端技术从业人员的年度 ...
最新文章
- pageX、clientX、screenX、offsetX、layerX、x
- opensuse 升级内核
- SVN“验证位置时发生错误”的解决办法
- 地线与接地螺丝_电气接地的规范要求及接地的各项参数,收藏!
- php用asp文件js,asp下用fso生成js文件的代码
- hive mysql互导_利用Sqoop实现Hive的数据与MySQL数据的互导
- js进栈出栈_[js]数组栈和队列操作
- python基础之面向对象(二)(封装、继承、多态)
- AWS成本估算的相关小工具
- SQL数据库面试题以及答案(50题)
- 资源 | NJUPT-Yellow-Page 南邮黄页
- “飞思卡尔”智能车竞赛有感
- OFDM载波间隔_OFDM之频域
- 速腾聚创 RoboSense RS-Helios 32线激光雷达使用 LeGO-LOAM 算法建图
- 计算机教学拼音打字教案,三年级下册信息技术课用拼音写汉字教案
- sequence-数据库-sjk
- 结对编程-俞神JAVA代码赏析
- 线性代数系列(1)行列式
- linux module load, show, 包管理,找到包的路径
- 温州中学高考2021成绩查询,2021年温州高考各高中成绩及本科升学率数据排名及分析...