前面讲了ELK的部署以及Logstash的插件的安装方式，本篇就介绍一下如何使用Logstash读取nginx的日志，并写入ES中，通过Kibana分析。

ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0

ELK系列(二)、在Kibana中使用RESTful操作ES库

ELK系列(三)、安装Logstash插件及打包离线安装包

-----------------------------使用Logstash读取nginx日志------------------------------------

日志格式

上面讲了如何给Logstash安装插件以及离线安装，安装好的插件就在Logstash目录下:

/opt/app/logstash-7.7.0/vendor/bundle/jruby/2.5.0/gems

nginx的日志默认结构为HTTPD_COMBINEDLOG，可以对比/usr/local/nginx/conf/nginx.conf和/opt/app/logstash-7.7.0/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/httpd 中的格式，然后我们就可以直接使用该格式的正则作为filter内容。

输出到控制台

配置logstash配置文件：

vim $LS_HOME/config/logstash_nginxlog2print.conf

input {# 从文件读取日志信息file {path => "/usr/local/nginx/logs/access.log"type => "system"start_position => "beginning"}}filter {grok {match => { "message" => "%{HTTPD_COMBINEDLOG}" }}
}output {# 标准输出stdout {}
}

启动验证：

bin/logstash -f config/logstash_nginxlog2print.conf

刷新nginx页面，或使用curl命令访问nginx，然后查看logstash的打印信息：

其中setting {:sincedb_path=>"/opt/app/logstash-7.7.0/data/plugins/inputs/file/.sincedb_d2343edad78a7252d2ea9cba15bbff6d", :path=>["/usr/local/nginx/logs/access.log"]}表示此配置文件读取该access.log文件，且读取的位置信息记录在sincedb文件内，下次再启动对这个日志文件的监控都会从记录的offset开始读，因此如果需要从头读取需要把这个文件先删掉。

输出到ES

配置logstash配置文件

vim $LS_HOME/config/logstash_nginxlog2es.conf

input {# 从文件读取日志信息file {path => "/usr/local/nginx/logs/access.log"type => "nginx_access"start_position => "beginning"}}filter {grok {match => { "message" => "%{HTTPD_COMBINEDLOG}" }}
}output {# 输出eselasticsearch {hosts => ["wykd:9200"]index => "nginx-%{+YYYY.MM.dd}"}}

启动验证

先删掉刚才的sincedb文件，然后启动监控并写入ES:

rm -rf /opt/app/logstash-7.7.0/data/plugins/inputs/file/.sincedb_d2343edad78a7252d2ea9cba15bbff6d

bin/logstash -f config/logstash_nginxlog2es.conf

Kibana中分析nginx日志

可以在kibana中看到nginx日志的索引已经自动创建了，此时我们使用curl命令访问nginx，该索引内的数据量也会实时变化：

在kibana中创建index patten，并在discover中查看index数据：

如果对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

ELK系列(四)、Logstash读取nginx日志写入ES中相关推荐

ELK学习--将自定义nginx日志写入es中并通过kibana展示为例
今天只是记录总体思路,具体细节不展开,毕竟东西太多学习目的业务发展越来越庞大,服务器越来越多各种访问日志.应用日志.错误日志量越来越多,导致运维人员无法很好的去管理日志开发人员排查问题,需要到 ...
logstash收集nginx日志
1.配置nginx日志编辑nginx.conf文件 vim /etc/nginx/nginx.conf 在http节点下配置如下 log_format json '{"@timestamp ...
Logstash读取Kafka数据写入HDFS详解
强大的功能,丰富的插件,让logstash在数据处理的行列中出类拔萃通常日志数据除了要入ES提供实时展示和简单统计外,还需要写入大数据集群来提供更为深入的逻辑处理,前边几篇ELK的文章介绍过利用lo ...
es获取最大时间的记录_Python日志写入ES之五种方案比较
实时/准实时方案可以使用以下四种方式实现: flume+kafka+spark准实时写入ES logging + CMRESHandler实时写入ES 利用python中的Elasticsearch ...
java读写德卡数据_Spark Streaming 读取Kafka数据写入ES
简介: 目前项目中已有多个渠道到Kafka的数据处理,本文主要记录通过Spark Streaming 读取Kafka中的数据,写入到Elasticsearch,达到一个实时(严格来说,是近实时,刷新时 ...
【云上ELK系列】Logstash迁移Elasticsearch数据方法解读
Elasticsearch中数据搬迁是工程师们经常会做的,有时是为了集群迁移.有时是为了数据备份.有时是为了升级等等,迁移的方式也有很多种,比如说通过elasticsearch-dump.通过snap ...
从零学ELK系列（九）:Nginx接入ELK（超详细图文教程）
[前言] 在前几篇博文中将ELK+Filebeat收集SpringBoot项目日志搭建完毕,本次我们将展示如何将Nginx接入我们搭建的日志系统,把步骤记录下来,一是方便自己以后安装,二是可以为大家做 ...
python将数据存入数据库_Python读取NGINX日志将其存入数据库
日志数据: #/usr/bin/env python #-*-coding:UTF-8 -*- from datetime import datetime stat_days = [] import ...
es分页和mysql分页_用户logstash同步mysql数据到es中7.4.1版本以后输出的sql日志中没有分页信息...
问题描述: 在使用logstash同步mysql数据库中的数据,在使用logstash7.4.1以前的版本,输出的sql日志如下: [2019-12-09T10:50:01,585][INFO ][l ...

ELK系列(四)、Logstash读取nginx日志写入ES中