大数据平台日志存储分析系统解决方案

大数据平台日志存储分析系统是在大数据平台下，针对业务系统产生的日志记录进行存储和分析。日志数据来自ElasticSearch存储的日志历史数据，并将需要存储和分析的日志数据从ElasticSearch中读取到Kafka中。Kafka的消费者在侦听到数据消息进入后，以流方式获取数据写入到HBase中。存储在HBase中的数据则是为日志数据的检索与分析提供服务。Web前端通过调用后端API检索HBase中的数据，并进行透视表的可视化展现，展现后的数据支持CSV导出功能。

本解决方案包括的系统功能为：

读取Kafka消息，存储到HBase
检索HBase数据，提供API
显示内容的CSV导出

技术方案

确定该技术方案的前置条件包括：

推送到Kafka的消息已经准备就绪
HBase的数据结构已经确定
日志检索条件固定
后端API已经确定，Web前端会调用该API
Web前端开发已经就绪

技术架构

整个技术架构如下图所示：

系统分为三个模块：

LogData Collector：通过Spark Streaming订阅Kafka的Topic，收集业务需要的日志数据，然后写入到HBase中。HBase搭建在HDFS的集群中。
LogData Searching：这是一个Spring Boot服务，通过@RestController暴露API接口给前端。其内部则集成Spark，利用Spark SQL查询HBase数据库。
Web UI前端：负责调用LogData Searching服务，并将数据呈现到UI上，并在前端实现显示数据的导出。

说明：导出功能可能有一个变化，倘若前端是分页显示，而导出的数据是符合检索条件的全量数据，则需要在导出时调用LogData Searching服务，获得导出所需的数据，而非前端已经显示的数据。

大数据平台日志存储分析系统解决方案相关推荐

大数据之电商分析系统（一）
大数据之电商分析系统(一) 一:项目介绍本项目来源于企业级电商网站的大数据统计分析平台, 该平台以 Spark 框架为核心, 对电商网站的日志进行离线和实时分析.该大数据分析平台对电商网站的各种 ...
Flume+Kafka双剑合璧玩转大数据平台日志采集
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 大数据真好玩点击右侧关注,大数据真好 ...
大数据平台由哪些分析功能
按照标准化的思路建设大数据平台,实现政务数据.社会数据及其他数据的安全接入.存储.共享.分析.应用和管理的目标,以支撑整个创新创业生态.大数据产业链的健康发展.大数据平台主要由数据接入系统.数据存储系 ...
物流大数据平台-物流流向分析（二）
接上一讲用BI工具FineBI,实现物流BI大数据平台的搭建.针对物流行业平台搭建问题,可通过构建快通流向分析仪表板,选取关键指标进行可视化分析,分析的问题如表所示. 分析主题分析问题分析指标可 ...
物流交通大数据平台-物流时效分析（二）
接着上一讲,将用大数据BI平台实现对物流行业平台搭建之中的物流时效分析第二部分:同城物流时效分析和各省份配送时效明细,如平均配送时长,0.5天/1天/2天/3天/3天以上配送情况等. 方案设计对于物 ...
毕业设计 - 题目：基于大数据的用户画像分析系统数据分析开题
文章目录 1 前言 2 用户画像分析概述 2.1 用户画像构建的相关技术 2.2 标签体系 2.3 标签优先级 3 实站 - 百货商场用户画像描述与价值分析 3.1 数据格式 3.2 数据预处理 3. ...
suport公司的大数据平台遇到的问题及解决方案总结
1.nohup日志文件中打印schema时,只有一个root? 答:打印schema时,若只有一个root单词,说明过滤的时候有问题(很有可能将数据全部过滤掉了).当时我出现的问题是,applicat ...
【2017年第2期】感悟大数据——从数据管理和分析说起
周傲英华东师范大学数据科学与工程学院,上海 200062 摘要:大数据依然很热,对其解读也越发众说纷纭.结合笔者长期以来的研发经历和深层思考,讨论了对"大数据"本身." ...
开源大数据平台的安全实践
开源大数据平台的安全实践刘杰百度(中国)有限公司,北京 100085 摘要:开源大数据平台的安全机制目前并不特别完善,特别是用户认证.日志审计等方案还存在不少问题.分析了开源大数据平台存在的安全隐 ...

大数据平台日志存储分析系统解决方案

技术方案

技术架构

大数据平台日志存储分析系统解决方案相关推荐

最新文章

热门文章