EKL日志平台架构概括

EKL日志分析平台是目前正在运行的日志处理项目。kibana使用的版本是4.5.3，因为较新版本的kibana页面比较酷炫，领导要求升级kibana。本来就是简单的一个组件的升级，结果因为兼容问题导致es、logstash、kafka都要升级。
以下是日志平台现有服务器及组件分布情况：

Zookeeper:
*.*.*.157 (flower)
*.*.*.194 (flower)
*.*.*.214 (leader)
Spark：
*.*.*.181 (master)
*.*.*.243 (worker)
*.*.*.168 (worker)
*.*.*.140 (worker)
*.*.*.141 (worker)
*.*.*.195 (worker)
Hadoop:
*.*.*.181 (nn1 namenode datanode)
*.*.*.243 (nn2 secondnamenode datanode)
*.*.*.168 (datanode)
*.*.*.140 (datanode)
*.*.*.141 (datanode)
*.*.*.195 (datanode)
Mysql:
*.*.*.168
*.*.*.140
*.*.*.141
Elasticsearch
*.*.*.217 （master datanode)
*.*.*.244 （master datanode)
*.*.*.106 （master datanode)
*.*.*.107 （datanode)
*.*.*.214 （master datanode)
*.*.*.194 （master datanode)
Kafka:
*.*.*.157
*.*.*.194
*.*.*.214
Hbase:
*.*.*.217
*.*.*.194
*.*.*.214
*.*.*.244
*.*.*.106
*.*.*.107
*.*.*.181
*.*.*.243
*.*.*.168
Zkui:
*.*.*.157
Kibana:
*.*.*.217
*.*.*.106
Elasticsearch-Head:
*.*.*.217
Cerebro:
*.*.*.217
Bigdesk:
*.*.*.217

以上服务器均为16核、32G内存、500G存储；并安装了CentOS6.3系统；均已安装jdk1.8.0_121;root权限的账号和普通账号各一个；上百个flume节点分布在日志收集点所在的服务器；各组件系统架构图如下所示：

平台主要用于收集系统的日志,各系统产生的日志量日平均约为2T,但是处在开发阶段仅接入20个系统,日日志量也有200G。平台的flume是通过自动化部署的，后续将实现logstash，hadoop，spark等基本所有组件的自动化部署，节约人工成本，甚至完成在线调优功能。
回归正题，由于领导要升级kibana使页面更丰富，升级后发现版本不兼容，出了一些异常，查资料才知道：在es 5.0之前，不同版本号的es与kibana 之间会有兼容性问题，从es 5.0开始，统一了版本号，相同版本号的es和kibana是兼容的。因为之前es用的是2.x与kibana差别太大，因此需要升级elasticsearch。同时版本差异太大，升级产生很多问题：数据的迁移，api兼容问题，kafka、logstash兼容问题等等…
这次升级过程中很多问题并未完全解决，理解不够透彻。
此次安装的组件及版本号：
kibana-6.4.1
elasticsearch-6.4.1
logstash-6.4.1
kafka_2.11-2.0.0

EKL日志平台架构概括相关推荐

中国民生银行天眼日志平台架构演进的平凡之路
本文由 [AI前线]原创,原文链接:t.cn/RYgJ8hD AI 前线导读: "随着中国民生银行的 IT 业务系统的迅速发展,主机.设备.系统.应用软件数量不断增多,业务资源访问.操作量不 ...
《中国民生银行天眼日志平台架构演进的平凡之路》阅读有感
<中国民生银行天眼日志平台架构演进的平凡之路>阅读有感随着中国民生银行的 IT 业务系统的迅速发展,主机.设备.系统.应用软件数量不断增多,业务资源访问.操作量不断增加,对于应用整体系统 ...
EKL日志平台：ElasticSearch离线安装
下载ElasticSearch 自行选择: elasticsearch官网本人测试所用的原装资源: 上传安装包到安装目录.解压 tar -zxvf elasticsearch-6.4.1.tar.g ...
阿里PB级Kubernetes日志平台建设实践
阿里PB级Kubernetes日志平台建设实践 QCon是由InfoQ主办的综合性技术盛会,每年在伦敦.北京.纽约.圣保罗.上海.旧金山召开.有幸参加这次QCon10周年大会,作为分享嘉宾在刘宇老师的 ...
有赞统一日志平台初探
https://tech.youzan.com/you-zan-tong-ri-zhi-ping-tai-chu-tan/ 一.引言自有赞成立以来,发展迅猛,业务增长很快,业务系统数量大,每天都会产 ...
干货分享 | 阿里PB级Kubernetes日志平台建设实践
嘉宾 | 元乙随着近两年的发展,Kubernetes 早已成为容器编排领域的标准,现在非常多的企业基于 Kubernetes 构建整个微服务的开发.运维平台,而日志是其中必不可少的核心功能.本文整理 ...
51信用卡在微服务架构下的监控平台架构实践
一.背景介绍 51信用卡的技术架构是基于Spring Cloud所打造的微服务体系,随着业务的飞速发展,不断增多的微服务以及指标给监控平台带来了极大的挑战.监控团队在开源vs自研,灵活vs稳定等问题上 ...
AndroidStudio1.4 安卓平台架构
学习目标零.学习目标一.概括二.讲解 (一)安卓平台架构简述 1.Linux 内核 2.硬件抽象层 3.安卓运行时 4.原生 C/C++ 库 5.Java API 框架 6.系统应用 (二)安卓 ...
大众点评数据平台架构变迁
2019独角兽企业重金招聘Python工程师标准>>> 最近和其他公司的同学对数据平台的发展题做了一些沟通,发现各自遇到的问题都类似,架构的变迁也有一定的相似性. 以下从数据& ...

EKL日志平台架构概括

EKL日志平台架构概括相关推荐

最新文章

热门文章