【elasticsearch 】logstash elasticsearch output plugin 的阻塞问题

问题描述：

在使用logstash向elasticsearch写入数据时,如果写入的索引已经被es关闭，logstash会阻塞住，es输出插件会无限重试这些有问题的数据。

问题版本信息：

logstash 版本：5.6.8
logstash-output-elasticsearch：7.4.2
elasticsearch版本: 5.6.8

这个问题发生的原因是什么？

先来看下异常的输出：

[logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"index_closed_exception", "reason"=>"closed", "index_uuid"=>"xxxx", "index"=>"xxxx"})

注意response code 403,这是关键。仔细读下logstash-output-elasticsearch 5.6 文档，在重试策略中有关于这个问题的描述:

对批量API的HTTP请求,返回200响应代码表示成功。所有其他响应代码将无限期重试,但是其中 400,404和409是特殊的:

如果启用死信队列（DLQ），则将400和404错误发送到DLQ。否则，打印日志消息，并且将删除该事件。
409错误（冲突）被记录为警告并被删除。

到这就找到了原因，elasticsearch 针对 index_closed_exception返回的是403。从而导致了无限重试。

在后续的测试中，如果将elasticsearch升级到6.8.0，index_closed_exception返回的错误码将是400，避免了这一问题。

【elasticsearch 】logstash elasticsearch output plugin 的阻塞问题相关推荐

5W字穿透 ELK（史上最全）：elasticsearch +logstash+kibana
本文 5w 字,帮忙大家绞杀式.穿透式掌握 elk 的原理和实操文章很长,建议收藏起来慢慢读! 总目录博客园版为您奉上更多の珍贵的学习资源有关本文的脚本和代码,可以来尼恩发起的J ...
ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台
来源:http://www.cnblogs.com/zclzhao/p/5749736.html 一.简介 ELK 由三部分组成elasticsearch.logstash.kibana,elasti ...
企业日志分析ELK(Logstash+Elasticsearch+Kibana)介绍及搭建
目录一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.分片和副本三.LogStash概述 1. ...
您的日志就是您的数据：logstash + elasticsearch
今天的帖子的主题与日常的编码和开发无关,但是涵盖了一个非常重要的主题:我们的应用程序日志文件. 我们的应用程序确实会生成大量日志,如果处理正确,则非常有助于解决问题. 如果您启动并运行一个应用程序并没 ...
ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平
ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应 ...
如何在Ubuntu 18.04上安装Elasticsearch Logstash Kibana（Elastic Stack）
In this guide, you will learn to install Elastic stack on Ubuntu 18.04. Elastic stack, formerly know ...
Elasticsearch+logstash+kibana
ELK搜索高级课程 1．课程简介 1.1 课程内容 ELK是包含但不限于Elasticsearch(简称es).Logstash.Kibana 三个开源软件的组成的一个整体.这三个软件合成ELK.是 ...
网络大数据分析 -- 使用 ElasticSearch + LogStash + Kibana 来可视化网络流量
简介 ELK 套装包括 ElasticSearch.LogStash 和 Kibana. 其中, ElasticSearch 是一个数据搜索引擎(基于 Apache Lucene)+分布式 NoSQL ...
Elk集群安装+配置（Elasticsearch+Logstash+Filebeat+Kafka+zookeeper+Kibana）
一.部署环境 1.基础环境: 软件版本作用 Linux Centos7.1,16g Jdk 1.8.0_151 Elasticsearch 5.5.0 数据持久化,存储数据 Logstash 5. ...

【elasticsearch 】logstash elasticsearch output plugin 的阻塞问题

【elasticsearch 】logstash elasticsearch output plugin 的阻塞问题相关推荐

最新文章

热门文章