文章目录

  • 一、项目介绍
  • 二、项目演示
    • 2.1 前端观影/电影首页
    • 2.2 前端观影/播放电影
    • 2.3 数据查询/电影筛选
    • 2.4 数据查询/评分细查
    • 2.5 数据查询/可视化数据
  • 三、相关博客

一、项目介绍

  此项目是一个基于Flink的电影数据实时统计平台。

  • Github链接:https://github.com/eurus10/uQiYi
  • B站视频演示与介绍:https://www.bilibili.com/video/BV1FU4y1h7GX/

  项目前后端分离,前端项目为movie-web,后端项目为movie

  • movie-web:包含完整的Vue 2项目,在目录下使用npm run dev可直接运行
  • movie:集成了Maven,Spring Boot,Flink,JDBC,Kafka等技术的后端。包含三个入口类:
    • MovieApplication.java:启动Spring Boot程序,实现如下功能

      • 前端进行交互
      • MySQL查询数据
      • 将数据发送到Kafka
    • ServerApplication.javaFlink计算程序,用于从Kafka读取数据进行流计算,并将各项计算结果存储到MySQL
    • DataSimulator.java:评分数据模拟程序,可以完成两种任务:
      • init:初始化数据库
      • produce:模拟用户的评分行为,不断地产生大量的评分数据并发送到Kafka

  项目的用户接口:

  • 前台观影:

    • 电影首页:猜你喜欢(推荐系统)、最近热播(流计算)
    • 播放电影:播放电影(HTML video)、电影评分(Kafka
  • 数据查询:
    • 电影筛选(JDBCMySQL
    • 评分细查(JDBCMySQL
    • 可视化数据(流计算、JDBCMySQL
  • 用户中心
    • 用户信息

  由于时间原因,上述用户接口中的推荐系统和用户中心尚未实现,"猜你喜欢"目前使用的是随机伪推荐,用户中心页面则尚未构建。另外,播放电影使用的是HTML原生的video标签,性能较差,并且尚未实现后端的连接查询。

二、项目演示

2.1 前端观影/电影首页

  原本是个GIF,结果文件太大传不上来,具体演示还是查看上方的B站视频演示吧,这里只能放几张截图。主要功能是每日推荐以及最近热播的展示,每日推荐涉及推荐系统,由于时间原因尚未完善(课设deadline要到了。。。),最近热播则是每隔10s更新一次。

  10s后:

2.2 前端观影/播放电影

  此页面包含播放电影和电影评分功能。其中,播放电影由于不是此项目的重点所以做的比较随便,甚至没有连接后端。电影评分功能则需要提供电影ID、用户ID(没有做用户系统,所以无法自动获取)和评分数据。界面如下:

2.3 数据查询/电影筛选

  通过电影平均评分和评分次数对电影进行筛选,界面如下:

2.4 数据查询/评分细查

  细查每部电影的用户评分记录,界面如下:

2.5 数据查询/可视化数据

  提供了流计算多项统计指标结果的实时展示,包括最近10s内评分次数、历史评分次数变化、评分分布、Top榜等等。原本也是GIF,但文件过大无法上传,所以还是只能上截图,视频演示请移步B站。

  “信息概览”Tab

  一段时间后:

  “电影数据”Tab

  一段时间后:

三、相关博客

  • 基于Flink的电影数据实时统计平台(二):项目结构
  • 基于Flink的电影数据实时统计平台(三):前端构建
  • 基于Flink的电影数据实时统计平台(四):后端项目构建与数据准备
  • 基于Flink的电影数据实时统计平台(五):流计算业务实现
  • 基于Flink的电影数据实时统计平台(六):后端业务实现

基于Flink的电影数据实时统计平台(一):项目展示相关推荐

  1. 基于Flink的电影数据实时统计平台(三):前端构建

    文章目录 一.环境准备 二.前端构建 2.1 页面绘制 2.1.1 网站框架`App.vue` 2.1.2 前台观影/电影首页`Movie.vue` 2.1.3 前台观影/播放电影`Player.vu ...

  2. Flink原理解析50篇(四)-基于 Flink CDC 打通数据实时入湖

    在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术,来解决业务数据实时入湖相关的问题. 0 ...

  3. 基于Flink CDC打通数据实时入湖

    作者 | 数据社       责编 | 欧阳姝黎 在构建实时数仓的过程中,如何快速.正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎 Flink 和数据湖 Apache Ice ...

  4. Flink从入门到精通100篇(十九)-基于 Flink 的大规模准实时数据分析平台的建设实践

    前言 如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基 ...

  5. 基于Flink百亿数据实时去重

    基于传统的Set方法去重,以及弊端 去重处理方法: 需要一个全局 set集合来维护历史所有数据的主键.当处理新日志时,需要拿到当前日志的主键与历史数据的 set 集合按照规则进行比较,若 set集合中 ...

  6. 基于 Flink、ClickHouse 的舆情分析系统:项目展示与 Git 地址

    一.基于 Flink.ClickHouse 的舆情分析系统 基于Flink.ClickHouse.ElasticSearch 的舆情分析系统 二.Git Code https://github.com ...

  7. 基于Flink的个人装扮商城群体用户画像与数据实时统计系统(六)-需求集C实现

    文章目录 一.需求集C有什么? 二.模拟生成用户购买商品的信息 三.需求集C实现 一.需求集C有什么? 所有需求link:基于Flink的个人装扮商城群体用户画像与数据实时统计系统(二)-项目介绍与需 ...

  8. 网络安全公司奇安信集团是如何基于 Flink 构建 CEP 引擎实时检测网络攻击【未来不可忽视的网络安全】

    摘要: 奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面: 背景及现状 技术架构 产品及运 ...

  9. 基于Flink的高可靠实时ETL系统

    GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的,面向架构师.技术负责人及高端技术从业人员的年度 ...

最新文章

  1. pageX、clientX、screenX、offsetX、layerX、x
  2. opensuse 升级内核
  3. SVN“验证位置时发生错误”的解决办法
  4. 地线与接地螺丝_电气接地的规范要求及接地的各项参数,收藏!
  5. php用asp文件js,asp下用fso生成js文件的代码
  6. hive mysql互导_利用Sqoop实现Hive的数据与MySQL数据的互导
  7. js进栈出栈_[js]数组栈和队列操作
  8. python基础之面向对象(二)(封装、继承、多态)
  9. AWS成本估算的相关小工具
  10. SQL数据库面试题以及答案(50题)
  11. 资源 | NJUPT-Yellow-Page 南邮黄页
  12. “飞思卡尔”智能车竞赛有感
  13. OFDM载波间隔_OFDM之频域
  14. 速腾聚创 RoboSense RS-Helios 32线激光雷达使用 LeGO-LOAM 算法建图
  15. 计算机教学拼音打字教案,三年级下册信息技术课用拼音写汉字教案
  16. sequence-数据库-sjk
  17. 结对编程-俞神JAVA代码赏析
  18. 线性代数系列(1)行列式
  19. linux module load, show, 包管理,找到包的路径
  20. 温州中学高考2021成绩查询,2021年温州高考各高中成绩及本科升学率数据排名及分析...

热门文章

  1. 坚强的人:可以承受压力的品质是包容
  2. 范畴(Category)
  3. 拿走不谢!创客学院教你64个Linux运维必备命令行工具
  4. 中联软通企业短信中心 瑞星杀毒软件升级包
  5. The long goodbye 漫长的告别 | 经济学人中英双语对照精读笔记
  6. 使用Snake代理跳板
  7. ubuntu 16.04 + eigen3 安装
  8. 电容笔和触控笔有什么区别?ipad手写电容笔推荐品牌
  9. Facebook等使用苹果源生分享
  10. 【惊呼】微信最多可以加多少好友,真正原因可能出乎你的想象!