同时运行多个logstash而kibana监控界面只统计到一个的问题

问题

同时在36和39两台主机上启动了两个logstash，两台通过日志查看都正常运行，但是在Kibana的监控界面查看节点，发现统计结果只有一台

分析

logstash的monitor和management是统一交由xpack管理的，其中logstash的监控数据也会存入索引，类似.monitoring-logstash-7-2019.11.20这样
查看并分析其数据发现两台的监控数据都存在即排除有一方没有上报监控数据的问题，继续分析发现其logstash_stats.logstash.uuid这一字段重复，
经调研该字段由logstash初始化启动时生成，具备唯一性，其一般存放在"logstash安装目录/data/uuid"
分别进入两台主机查看该文件，果然两者的uuid内容完全一致

结论

logstash是容器部署，其默认镜像中没有nmap插件，因此我在一次安装完插件后提交了该容器，导致了后续使用该进行启动的logstash拥有了一样的uuid

解决方案

重新制作镜像，在打包之前停止logstash并删除其uuid，或者最保险每次都是利用官方进行启动

思考

该问题应该是一个共性问题，ELK生态中的所有组件都有类似的潜在风险，因此以后部署过程中要注意该问题

其它

分析过程中这位老哥的issue帮助很大
Duplicated UUID in Logstash or Kibana monitored instances leads to show only 1 of them in the Monitoring tabs.

同时运行多个logstash而kibana监控界面只统计到一个的问题相关推荐

使用 elasticsearch、LogStash、Kibana完成网站流量的监控系统(基于nginx的访问日志实现流量监控)
分布式带来的变革: 多节点.日志分散.运维成本高先看几个实际的案例. 各自的解决方案一些比较主流的集中式日志管理系统简单的Rsyslog 商业化的 Splunk 开源的有 Facebook 公司 ...
kibana监控logstash
ELK系列文章: Elastic Stack(ELK)日志系统简介及搭建 Elastic Stack(ELK)日志系统后续使用及问题解决 kibana7.2添加登录及权限 kibana监控logsta ...
ELK学习3_使用redis+logstash+elasticsearch+kibana快速搭建日志平台
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情监控系统的运行状况统计分析,比如接口的调用次数.执行时间.成功率等异常数 ...
企业日志分析ELK(Logstash+Elasticsearch+Kibana)介绍及搭建
目录一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.分片和副本三.LogStash概述 1. ...
ELK日志分析平台（三）— kibana数据可视化、kibana监控、采集日志插件filebeat
1.kibana数据可视化--日志分析 [root@foundation50 network-scripts]# cd /mnt/pub/docs/elk/7.6/ [root@foundation5 ...
基于ELK打造强大的日志收集分析系统（springboot2+logback+logstash+elasticsearch+kibana）
前言上一代的日志分析系统springboot+log4j+flume+kafka仿佛还是昨天,现在已经流行起了新一代的springboot2+logback+logstash+elasticsear ...
ELK入门——ELK详细介绍（ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍）
目录主要参考链接一.什么是ELK(端口9200) 主要特点: 1.存储:面向文档+JSON 2.检索:倒排+乐观锁 3.分析:监控+预警+可视化 4.支持集群二.Logstash(端口5044) ...
Elasticsearch、Logstash、Kibana搭建统一日志分析平台
ELKstack是Elasticsearch.Logstash.Kibana三个开源软件的组合.目前都在Elastic.co公司名下. ELK是一套常用的开源日志监控和分析系统,包括一个分布式索引与搜 ...
如何使用Elasticsearch，Logstash和Kibana实时可视化Python中的日志
by Ritvik Khanna Ritvik Khanna着如何使用Elasticsearch,Logstash和Kibana实时可视化Python中的日志 (How to use Elastic ...

同时运行多个logstash而kibana监控界面只统计到一个的问题

问题

分析

结论

解决方案

思考

其它

同时运行多个logstash而kibana监控界面只统计到一个的问题相关推荐

最新文章

热门文章