一、前言
二、内容
- 1、配置单个文件夹
- 2、配置多个文件夹
三、相关文章

一、前言

本文描述了如何把日志文件通过配置logstash写入elasticsearch

二、内容

1、配置单个文件夹

已知：文件夹位于：H:\work\projectName\runtime\log\202009\25.log
配置文件内容如下所示：

input {file {path => "H:/abnorwork/projectName/runtime/log/*/*.log"start_position => "beginning"stat_interval => "3"}
}
output {elasticsearch { hosts => ["localhost:9200"]index => "system-log-%{+YYYY.MM.dd}"}
}

windows下 logstash启动。 logstash下载，注意别和es相差太多版本

cd D:\ProgramFiles\ELK\logstash-7.2.0\bin
logstash.bat -f ../logstash_test.conf

配置文件 logstash_test.conf写哪都可以，只要你能够正确指定。我的配置文件写在logstash-7.2.0 根目录，也是bin 的同级目录

2、配置多个文件夹

1、logstash 配置文件编写

[root@linux-elk1 ~]# vim /etc/logstash/conf.d/system-log.conf
input {file {path => "/var/log/messages"type => "systemlog"start_position => "beginning"stat_interval => "3"}file {path => "/var/log/secure"type => "securelog"start_position => "beginning"stat_interval => "3"}
}output {if [type] == "systemlog" { elasticsearch {hosts => ["192.168.1.31:9200"]index => "system-log-%{+YYYY.MM.dd}"}}if [type] == "securelog" { elasticsearch {hosts => ["192.168.1.31:9200"]index => "secure-log-%{+YYYY.MM.dd}"}}
}

2、给日志文件赋予可读权限并重启 logstash

[root@linux-elk1 ~]# chmod 644 /var/log/secure
[root@linux-elk1 ~]# chmod 644 /var/log/messages
[root@linux-elk1 ~]# systemctl restart logstash

3、向被收集的文件中写入数据；是为了马上能在elasticsearch的web界面和klbana的web界面里面查看到数据。

[root@linux-elk1 ~]# echo "test" >> /var/log/secure
[root@linux-elk1 ~]# echo "test" >> /var/log/messages

4、在kibana界面添加system-log索引模式
5、在kibana界面添加secure-log索引模式
6、kibana查看日志

三、相关文章

建议查看这篇，内容更丰富：去看看
ELK - 标签 - 别来无恙- - 博客园
Logstash——配置介绍，数据输入配置（input）
ELK logstash的grok 自定义正则匹配日志

ELK 收集多个日志文件相关推荐

带你了解zabbix整合ELK收集系统异常日志触发告警~
今天来了解一下关于ELK的"L"-Logstash,没错,就是这个神奇小组件,我们都知道,它是ELK不可缺少的组件,完成了输入(input),过滤(fileter),output( ...
ELK 收集 Java 后台日志
01 Java 日志样式 Java日志的特点在于输出信息非常多,通常需要将多行日志信息拼成一个事件,所以需要多行匹配模式.由于Elasticsearch本身就是使用Java开发的,所以Java日志收集 ...
收集小型机snap日志文件步骤
1. 收集snap 日志: 收集SNAP 信息请将机器序列号做为snap 的前缀文件名发送给我如 06-123567snap.pax.Z 请以root用户权限执行: 1) # snap -r ...
重做日志文件（redo log file)
目录重做日志文件相关. 重做日志文件简介. 查询重做日志文件的信息. 日志切换. 管理日志文件组增删日志文件组. ...
ELK：收集k8s容器日志最佳实践
简介关于日志收集这个主题,这已经是第三篇了,为什么一再研究这个课题,因为这个课题实在太重要,而当今优秀的开源解决方案还不是很明朗: 就docker微服务化而言,研发有需求标准输出,也有需求文件输出, ...
ELK 构建 MySQL 慢日志收集平台详解
ELK 介绍 ELK 最早是 Elasticsearch(以下简称ES).Logstash.Kibana 三款开源软件的简称,三款软件后来被同一公司收购,并加入了Xpark.Beats等组件,改名为E ...
CentOS下ELK收集Nginx日志
1. ELK收集Nginx普通格式的日志 1.1 测试服务器架构 1.2 ab工具使用 yum install httpd-tools -y# -n 总共发送多少条请求,注意,最后"/&qu ...
搭建elk+logstash+kafka+filebeat日志收集平台
文章目录前言组件介绍原理图环境介绍安装日志收集与展示前言在日常的运维过程中,对系统日志和业务日志的处理比较重要,对于以后的数据分析.排查异常问题有很重的作用.今天就分享一个自己基于ka ...
项目实战｜史上最简单的springboot 整合elk教程，实现日志收集（带视频哦）
配套视频教程已经上传整合ELK-实现日志收集(知乎) 整合ELK-实现日志收集(CSDN) 项目源码已上传至 https://gitee.com/yangleliu/learning.git,免费索 ...
基于ELK打造强大的日志收集分析系统（springboot2+logback+logstash+elasticsearch+kibana）
前言上一代的日志分析系统springboot+log4j+flume+kafka仿佛还是昨天,现在已经流行起了新一代的springboot2+logback+logstash+elasticsear ...

ELK 收集多个日志文件

一、前言

二、内容

1、配置单个文件夹

2、配置多个文件夹

三、相关文章

ELK 收集多个日志文件相关推荐

最新文章

热门文章