1、项目架构

OGG + FileBeat + Kafka + Logstash + ElaticSearch + SpringBoot + Echarts + Jquery

2、项目介绍

1、项目是通过beat采集业务系统的日志，发送至kafka ，Logstash解析日志存入ElaticSearch，
2、另外一个数据，通过oracle内部的OGG同步至kafka，消息中中包含insert，update的状态字段。采集时区分inset和update。由于ElaticSearch具有原子性。自己设置好document_id。多次插入和更新都是最新状态。
3、项目简单，服务器6台，数据量支持上亿查询。
4、时效性能达到秒级别，这是ES和采集的beat造成的。
5、一人开发，未进行前后端分离，项目使用的是ajax请求后端。
6、需要保证kafka的进入特定分区，或者你就弄一个分区保证消费kafka的顺序性，这样可以保证短时间内的insert和update区分按顺序处理。

3、项目展示

该项目特别感谢开源软件的支持。
后续，我将逐步将代码贴出来。
感谢你的阅读！

后续的更新：

2、目录介绍
3、前端和配置
4、后端代码
5、UI部分

实时可视化大数据项目01 -- 项目介绍相关推荐

实时可视化大数据项目02 -- 项目目录介绍
1.项目目录结构后端采用分层架构,前端springBoot整合了前端. 2.目录介绍 2.1.dao 存放的是实体类,基本是封装好的对象,传递给前端的对象. 2.2.service 业务层: 封装数 ...
Vue+Echarts构建可视化大数据平台实战项目（上）粒子动效，登录界面抖动，背景图轮播★
Vue+Echarts构建可视化大数据平台实战项目(上) 前言分享之前我们先来普及一下什么是数据可视化?数据可视化可以把数据从冰冷的数字转换成图形,揭示蕴含在数据中的规律和道理.数据可视化通俗来说就 ...
3d饼图 vue_Vue+Echarts构建可视化大数据平台实战项目分享（附源码）(上)
前言分享之前我们先来普及一下什么是数据可视化?数据可视化可以把数据从冰冷的数字转换成图形,揭示蕴含在数据中的规律和道理.数据可视化通俗来说就是:数据的展示.处理和分析.目的是借助于图形化手段,清晰有 ...
（上）Vue+Echarts构建可视化大数据平台实战项目分享（附源码）
前言分享之前我们先来普及一下什么是数据可视化?数据可视化可以把数据从冰冷的数字转换成图形,揭示蕴含在数据中的规律和道理.数据可视化通俗来说就是:数据的展示.处理和分析.目的是借助于图形化手段,清晰有 ...
实时可视化大数据项目05 -- UI界面
很多人在问我,UI界面的源代码. 首先我先说明一下,UI是使用开源的在我第一部分就提出来了,所以,在这里感谢开源软件码云提供. 下方我也贴出几张图片,下方有地址给大家下载使用,该作者也在持续更新中.如 ...
2022年大数据BI工程师项目实训介绍
来自[仅悦数据]<大数据BI工程师项目实训>的介绍,精心整理,盗用必究- 本文阅读约需15分钟,感谢观看~ 最新播报:2022年BI大数据实训全面升级,我们必将更专业.更用心! 一.202 ...
Python新闻推荐系统+爬虫+可视化大数据项目源码下载
Python新闻推荐系统+爬虫+可视化大数据项目源码下载网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题.文本.图片.视频链接推荐算法:权重衰减+标签推荐+区域推荐+热点推 ...
清华大数据能力提升项目《数据分析方法》选课开始 !（附旁听名额）
大数据背景下,信息类专业人才在各个行业的需求量巨大的同时,也在综合能力上提出了新的要求,不仅需要掌握对大数据进行高效处理的工具和平台搭建.分析和处理的理论方法,而且需要数据人才对行业知识的了解及应用. ...
支持实践教学：清华大数据能力提升项目举办CIKM AnalytiCup2017冠军团队经验分享会
2017年11月29日,清华-青岛数据科学研究院(以下简称:数据院)报告厅举办了一场赛事经验分享讲座.数据院邀请到数据派研究部成员.清华大学工程力学系博士生姚易辰和清华热能系博士生李中杰前来分享他们在 ...

实时可视化大数据项目01 -- 项目介绍

1、项目架构

2、项目介绍

3、项目展示

实时可视化大数据项目01 -- 项目介绍相关推荐

最新文章

热门文章