程序好思路分享 计算机毕业设计Hadoop+Spark交通大数据 地铁客流量分析大数据 数据仓库 大数据毕业设计 大数据毕设
简介
该项目主要分析深圳通刷卡数据，通过大数据技术来研究深圳地铁客运能力及探索优化服务的方向
主要讲解Flink流处理实时分析部分，离线部分较简单，暂时略过
项目流程
采用python请求深圳地铁数据API，将数据发送至Kafka和MySQL。
kafka部分用于实时计算，MySQL部分模仿业务数据，用于离线分析
Flink连接Kafka进行实时统计各站收入情况
将统计的结果Sink到Mysql进行可视化展示
离线部分用sqoop将业务数据导入到hive中进行分析，最终将分析完的数据导出到MySQL用于可视化展示
整体使用azkaban进行调度
组件版本
python 3.6.6
java 1.8
scala 2.11
kafka_2.11-2.4.1
zookeeper_3.4.6
flink 1.14.0
hadoop 2.7.6
sqoop 1.4.6
hive 1.2.1
azkaban 2.5.0
mysql 5.7
FineReport 11
运行截图
程序好思路分享 计算机毕业设计Hadoop+Spark交通大数据 地铁客流量分析大数据 数据仓库 大数据毕业设计 大数据毕设相关推荐
- 程序思路分享 计算机毕业设计Python+Spark+Hadoop+Flink微博舆情预警系统 微博舆情可视化 舆情大数据 微博大数据 微博爬虫 大数据毕业设计 大数据毕设
开发技术 前端:vue.js echarts websocket 后端:springboot+mybaits 大数据计算框架:spark flink 机器学习/深度学习:lstm情感分析 爬虫:Pyt ...
- 代码思路分享 计算机毕业设计Python+Hadoop+Spark+Hive旅游可视化 旅游数据分析 数据仓库 旅游推荐系统 旅游大数据 大数据毕业设计 大数据毕设
涉及技术 hadoop hive azkaban python爬虫 hue sqoop mysql 运行截图
- 原创代码思路分享 计算机毕业设计Python+Spark+LSTM中药推荐系统 中药大数据可视化 中药数据分析 中药可视化系统 中药知识图谱
开发技术 前端:vue.js.echarts 后端:springboot.vue.js 数据库:mysql 大数据计算框架:spark.hadoop 算法(机器学习.人工智能):推荐算法(协同过滤算法 ...
- 上海市考 计算机类岗位,2021年上海市公务员考试职位分析，法学类专业报考优势大...
2021年上海市公务员笔试将于2020年12月13日开启.在此次公务员考试中,上海市共有1468个岗位,合计招录2896人.本文根据上海公务员招录职位表来分析招录情况. 一． B类公务员为招录主体 在 ...
- 大数据项目实践：基于hadoop+spark+mongodb+mysql开发医院临床知识库系统
一.前言 从20世纪90年代数字化医院概念提出到至今的20多年时间,数字化医院(Digital Hospital)在国内各大医院飞速的普及推广发展,并取得骄人成绩.不但有数字化医院管理信息系统(HIS ...
- 大数据项目实践：基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统
从20世纪90年代数字化医院概念提出到至今的20多年时间,数字化医院(Digital Hospital)在国内各大医院飞速的普及推广发展,并取得骄人成绩.不但有数字化医院管理信息系统(HIS).影像存 ...
- hadoop+spark+mongodb+mysql+c#
一.前言 从20世纪90年代数字化医院概念提出到至今的20多年时间,数字化医院(Digital Hospital)在国内各大医院飞速的普及推广发展,并取得骄人成绩.不但有数字化医院管理信息系统( ...
- 行业大数据 -- 基于hadoop+spark+mongodb+mysql开发医院临床知识库系统(建议收藏)
一.前言 从20世纪90年代数字化医院概念提出到至今的20多年时间,数字化医院(Digital Hospital)在国内各大医院飞速的普及推广发展,并取得骄人成绩.不但有数字化医院管理信息系统(HIS ...
- Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践
一.前言 随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务.目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值.为此,本文拟利用医 ...
最新文章
- 【组队学习】【32期】吃瓜教程——西瓜书+南瓜书
- asp.net textbox 控件如何清除缓存
- Windows下安装Mysql5.7.22以及遇到的问题 + 数据库连接工具Navicat
- html中左侧播放器插件,简洁实用的html5音乐播放器插件
- 16.Python略有小成(内置模块Ⅱ)
- CentOS忘记普通用户密码解决办法
- jquery设置表单元素只读_jquery设置元素readonly和disabled(checkbox只读)
- ubuntu下设置Android手机驱动
- python pandas series_Python Pandas 系列Series
- 学习篇——微信小程序开发
- wps——ppt中的视频提取
- 用Ps按比例缩小图片整体的尺寸
- HTML+css制作简单游戏界面
- 大数据圈儿微信公众号
- 程序的连接之符号和符号表
- mysql 在线热备_MySQL 热备份实现
- Tet3在前脑神经元中对抗焦虑
- oracle输出数据,Oracle数据库输出输入
- 吉林大学软院夏令营面试
- 操作系统真象还原——3.完善MBR