logstash multi-pipelines

场景

1. 多个input
2. 多个output
3. input与output存在某种对应关系

解决方案

单实例+单pipeline

多实例

单实例+multi pipelines

1.单实例+单pipeline

实现：

配置多个input、filter、output

input添加type变量

filter、output通过条件判断与input关联

问题：

冗长的条件判断

缺乏拥塞隔离（logstash接收一批事件处理输出完之后才会处理下一批，某个数据源处理过程拥塞会影响其它数据源的处理）

2.多实例

实现：

单台服务器启动多个logstash实例

每个实例需要指定不同的path.data（如：bin/logstash -f config/logstash.conf --path.data=/apprun/ &）

问题：

每个实例拥有独立的内存，会占用更多的资源

管理不便

*3.单实例+multi pipelines

实现：

配置pipelines.yml，放置到home_dir/config/下

定义不同的pipeline设置不同的配置和数据源

不指定配置直接启动程序：bin/logstash（启动命令后不可跟 -e或-f，否则不会使用默认的 config/pipelines.yml）

pipelines.yml定义如：

- pipeline.id: mainpath.config: "/etc/logstash/config/logstash.conf"pipeline.workers: 3
- pipeline.id: tcppath.config: "/etc/logstash/config/tcp.conf"queue.type: persisted

不同的pipeline可以根据数据量的不同设置不同的配置

logstash multi-pipelines相关推荐

logstash配置pipelines.yml后报错
ERROR: Pipelines YAML file must contain an array of pipeline configs. Found "Hash" in /ser ...
zookeeper+kafka+logstash+elasticsearc+kibana
研究背景 1.之所以选用kafka是因为量起来的话单台logstash的抗压能力比较差 2.为了解决整个链路查询的问题,多个Feign传层的话,可以按照一个ID进行穿层,所以采用logback的MDC ...
ELK6.0部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台
一.前言 1.ELK简介 ELK是Elasticsearch+Logstash+Kibana的简称 ElasticSearch是一个基于Lucene的分布式全文搜索引擎,提供 RESTful API进 ...
在Logstash中配置多个管道
目录介绍背景为(DB.API和WEB)服务器配置filebeat.yml 创建管道配置文件 dblogpipeline.conf apilogpipeline.conf weblogpipeli ...
filebeat+logstash收集错误日志发送邮件提醒
filebeat+logstash收集错误日志发送邮件提醒典型ELK应用架构因为只收集错误日志并且数据量并不是非常大所以简化流程使用filebeat+logstash发送异常日志软件版本说 ...
linux logstash启动脚本,在Linux中从bash脚本启动时Logstash shutdown停止
我写了一个bash脚本,它在指定的文件夹中找到CSV文件,并使用正确的配置文件将它们管道到logstash中.但是,当运行此脚本时,我遇到以下错误,说关闭进程停止,导致无限循环,直到我用ctrl c手 ...
【笔记】Logstash环境搭建和安装配置
Logstash介绍: 概述 Logstash 是 Elastic Stack 的中央数据流引擎,用于收集.丰富和统一所有数据,而不管格式或模式.当与Elasticsearch,Kibana,及 Be ...
linux 启动logstash_linux – 从bash脚本启动时Logstash shutdown停止
我写了一个bash脚本,它在指定的文件夹中找到CSV文件,并使用正确的配置文件将它们管道到logstash中.但是,当运行此脚本时,我遇到以下错误,说关闭进程停止,导致无限循环,直到我用ctrl c手 ...
Logstash 6.2 参考指南（开始使用Logstash）
Logstash 6.2 参考指南(开始使用Logstash) https://segmentfault.com/a/1190000015237808#articleHeader3 Logstash官 ...

logstash multi-pipelines

logstash multi-pipelines

场景

解决方案

1.单实例+单pipeline

2.多实例

*3.单实例+multi pipelines

logstash multi-pipelines相关推荐

最新文章

热门文章