学习spark已经有一段时间了,做了一个共享单车的项目,现在记录一下。

首先说一下这个项目的一个整体流程:
首先要有一个供用户使用的微信小程序,然后还有一个后台管理系统,用于记录用户的行为数据,后台将用户的行为数据保存到mongodb中,然后使用spark对数据进行分析,生成报表系统。

整体流程图:

web系统架构图:

整体项目架构图:


然后这个项目所用到的技术:

1.微信小程序–供用户使用
2.sparingBoot–web后台,用于保存用户数据,单车的开锁,计费,充值等相关功能
3.nginx–负载均衡服务器集群
4.mysql–存储一些规则的数据
5.redis–实时计算(json形式)
6.mongodb–用户存储用户行为数据,日志,以及单车信息(json形式)
7.Elasticsearch–实时查找和数据分析
8.spark–用于数据分析
9.flume和Kafka–用户收集用户数据

共享单车项目(一)--项目简介相关推荐

  1. 美团“共享单车变球场”项目落地四川阿坝

    11月4日消息,日前,四川省阿坝藏族羌族自治州小金县宅垄镇小学的学生们迎来了崭新的篮球场.据悉,这个新球场是由美团单车联合中国交通报社共同捐赠,由3500多条美团单车和电单车轮胎回收改造而成. 美团交 ...

  2. 共享单车c语言项目,共享单车项目分析

    一.提出问题 在本项目中,参与者被要求将历史使用模式与天气数据相结合,以便预测华盛顿特区的自行车租赁计划中的自行车租赁需求. 二.理解数据 2.1 收集数据 一般而言,数据由甲方提供.若甲方不提供数据 ...

  3. 机器学习-共享单车使用量统计预测项目

    共享单车租赁量预测 一个项目最重要的可能不是代码,而是项目的流程和实际项目情况   首先这个项目的意义是什么,对使用量的预测,能够帮助企业精确投放,来优化客户体验,节约成本.不做没有意义的投放,这就是 ...

  4. 头歌 共享单车大数据项目数据分析

    第一关:数据探索与可视化 import pandas as pd import matplotlib matplotlib.use('Agg') import matplotlib.pyplot as ...

  5. springboot+vue+Elementui共享单车管理系统

    随着时代的发展,互联网和计算机技术,带动了整个的商业发展,方便了我们的生活.共享单车管理系统被越来越多的人选择,网络共享逐渐成为日常生活的一部分.并且随着共享平台的发展,也呈现出多元化方向,各种单车. ...

  6. SSM+Mysql实现的共享单车管理系统(功能包含分角色,登录、用户管理、服务点管理、单车管理、分类管理、学生信息管理、单车租赁、信息统计、系统设置等)

    博客目录 SSM+Mysql实现的共享单车管理系统 实现功能截图 系统功能 使用技术 代码 完整源码 SSM+Mysql实现的共享单车管理系统 本系统一个学校共享单车管理的项目,通过线上系统化的管理, ...

  7. 毕业设计 题目:基于大数据的共享单车数据分析

    文章目录 0 前言 1 项目背景 2 项目分析思维导图 3 项目分析具体步骤 3.1 读取数据 3.2 数据分析 3.1.1 数据预处理--每日使用量分析 3.1.2 连续7天的单日使用分析结论 3. ...

  8. 2021-2027中国共享单车软件市场现状及未来发展趋势

    2021-2027中国共享单车软件市场现状及未来发展趋势 本文研究中国市场共享单车软件现状及未来发展趋势,侧重分析在中国市场扮演重要角色的企业,重点呈现这些企业在中国市场的共享单车软件收入.市场份额. ...

  9. 全力升级篇-基于Mongodb与Nginx负载均衡打造共享单车项目实战 最新完整项目升级版

    全力升级篇-基于Mongodb与Nginx负载均衡打造共享单车项目实战 最新完整项目升级版 课程作为全新的升级项目课程,基于Nginx负载均衡,Flume与Kafka,Mongodb和Redis等技术 ...

  10. 共享单车项目、mongodb集群

    需求分析 摩拜单车的重点是物联网大数据 车投放在什么地方,要根据数据来进行支撑,根据历史数据(骑行记录) 通过共享单车的骑行数据可以分析出个性城市 成都休闲之都:骑行的地方多为娱乐场所 上海敬业之城: ...

最新文章

  1. Python爬虫应用实战-爬取股票数据做分析
  2. delphi中的提前声明
  3. dt测试软件的学习心得,无线网络优化dt测试心得_适合新手入门,高手进阶_5年项目经验实战经验.docx...
  4. 2016 Top 10 Android Library
  5. 隐马尔科夫模型(HMM)笔记(公式+代码)
  6. [3rgb.com开发笔记] 初步设想篇
  7. Educational Codeforces Round 45 (Rated for Div. 2)
  8. 利用sklearn对红酒数据集分类
  9. 比较sql server两个数据库
  10. opencv Basic Drawing
  11. 机器人油封_机器人油封 机器人减速机 机器人伺服电机油封 KVNOK油封
  12. 多任务学习Multi-task Learning(MTL)概述
  13. 三个问题,弄清楚AI商业化
  14. jquery怎么读(jquery怎么读音英语)
  15. [编程题] 庆祝61
  16. 第4.1章 飞鸟集爬虫采用结巴分词随机排序存储
  17. C# WPF MVVM 实战 – 2.2
  18. 电子烟能破壳类四大天王“和大天壹”新物种么?
  19. 电脑用户没有admin权限,如何配置node开发环境
  20. 使用certbot自动续签ssl证书

热门文章

  1. php读取本地txt,php读取本地文件常用函数(fopen与file_get_contents)_PHP教程
  2. 华为员工去面试被淘汰后怒怼HR:华为出来的也能被拒,很无语
  3. linux开pulseaudio服务,PulseAudio
  4. 第十六篇:关于Unity开发WebGL遇到的坑
  5. lumion无法隐藏活动层_lumion是什么软件?想快速掌握 Lumion?快来拿走这份正确的入门教程!...
  6. golang的优劣与前景分析
  7. 计算机桌面是快捷方式,我的电脑桌面上的图标都变成快捷方式了怎么处理?
  8. 如何培训新进的软件测试人员
  9. 愤怒的导数:一点可导和邻域内可导能推出来什么?
  10. 计算机word正文样式怎么新建,Word 2013中样式的创建与修改 创建新样式——想象力电脑应用...