ELK详解（九）——Logstash多日志收集实战

2024-05-14 20:16:31

今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash多日志收集实战。

一、Logstash配置

在上文ELK详解（八）——Logstash收集系统日志实战中，我们进行了Logstash日志收集实战，在本文中，我们尝试在一个Logstash的配置文件中实现多个日志信息的收集。在本此实战中，基本配置与前文基本相同，但是区别在于配置文件处，我们要用input中定义的type参数，将不同日志文件中的输入定位到不同的索引进行输出。
我们创建配置文件bi-logstash.conf，内容如下所示：

input{file{path=>"/var/log/messages"type=>"system-log"start_position=>"beginning"stat_interval=>"5"}file{path=>"/var/log/secure"type=>"secure-log"start_position=>"beginning"stat_interval=>"5"}
}
output{if [type] == "system-log" {elasticsearch{hosts=>["192.168.136.101:9200"]index=>"bi-system-log-%{+YYYY.MM.dd}"}}if [type] == "secure-log" {elasticsearch{hosts=>["192.168.136.101:9200"]index=>"bi-secure-log-%{+YYYY.MM.dd}"}
}

在上述配置文件中，我们在输入处，使用两个file模块分别对/var/log/messages文件和/var/log/secure文件进行了输入；在输出处，根据这两个文件的Type不同，分别定位了不同的索引。
在这里，为了方便查看结果，我们对这两个日志分别输入test，以减少日志查询和传输的时间。
完成上述配置后，我们对这两个日志授予644的权限，以便使我们的Logstash用户可以读取它们。之后，执行命令：

logstash -f /etc/elasticsearch/conf.d/bi-logstash.conf

结果如下所示：

二、Elasticsearch结果查看

接下来，我们在Elasticsearch上查看结果，如下所示：

可以看到，在Elasticsearch上出现了我们的两个索引结果。

三、Kibana结果查看

最后，我们在Kibana上查看结果，如下所示：

可以看到，在Kibana上，也可以看到我们的两个索引。
原创不易，转载请说明出处：https://blog.csdn.net/weixin_40228200

ELK详解（九）——Logstash多日志收集实战相关推荐

大数据——Logstash（日志收集）
Logstash(日志收集) ELK Stack Logstash简介安装Logstash Logstash如何工作 Logstash配置语法(一) Logstash配置语法(二) 输入插件编解码 ...
linux 日志按大小切割_nginx入门详解（六）- 日志切割
上一章讲解了nginx的目录加密功能,本章重点介绍nginx的日志切割. 笨办法学linux:nginx入门详解(五)- 目录加密zhuanlan.zhihu.com 在第二章,我们探讨了nginx ...
详解Shell编程之if语句实战(小结)
本篇文章主要介绍了详解Shell编程之if语句实战(小结),小编觉得挺不错的,现在分享给大家,也给大家做个参考.一起跟随小编过来看看吧对于if语句,其实很多人都肯定的听说过,那么if语句到底是什么, ...
『矩阵论笔记』详解最小二乘法(矩阵形式求导)+Python实战
详解最小二乘法(矩阵形式求导)+Python实战! 文章目录一. 矩阵的迹 1.1. 转置矩阵 1.2. 迹的定义 1.3. 七大定理二. 最小二乘法 2.1. 求解介绍 2.2. 另一角度 2. ...
NET Core微服务之路：简单谈谈对ELK，Splunk，Exceptionless统一日志收集中心的心得体会...
前言日志,一直以来都是开发人员和运维人员最关心的问题.开发人员可通过日志记录来协助问题定位,运维人员可通过日志发现系统隐患,故障等定位问题.如果你的系统中没有日志,就像一个断了线的风筝,你永远不知道 ...
SpringBoot继承LogStash实现日志收集
一.环境准备安装Elasticsearch.kibana.logstash,教程链接安装教程二.配置SpringBoot 依赖在springBoot 项目下pom文件增加logStash 依赖 ...
基于filebeat + logstash的日志收集方案
日志收集是一个很普遍的需求,各个服务的log日志,打点日志都需要收集起来做离线etl或实时分析.日志收集工具也有很多开源的可供选择,flume, logstash, filebeat等等. 目前3 ...
oracle重做日志详解,Oracle的重做日志
Archive Redo log files--归档重做日志,简称归档日志,指当条件满足时,Oracle将在线重做日志以文件形式保存到硬盘(持久化). 重做日志的简单原理:在数据更新操作commit前 ...
ELK详解（二十五）——elastalert配置参数详解
今天继续给大家介绍Linux运维相关知识,本文主要内容是elastalert的配置参数详解. 一.配置文件参数详解首先,我们来讲解一下elastalert的配置文件中的常用参数: 1.ES集群相关参 ...
java8编程开发入门李兴华_李兴华系列--JAVA详解视频(jdk1.8)及项目实战教程
李兴华系列--JAVA详解视频教程(jdk1.8)有源码+文档01_<Oracle从入门到精通> 02_<Java8编程入门> 03_<Java8面向对象编程> 0 ...

最新文章

热门文章