elk-logstash时区问题

http://www.cnblogs.com/wangpei886/p/8043021.html

使用版本:elk6.0

配置文件:logstash.confg

output {elasticsearch {id => "logstash-%{+YYYY.MM.dd}"}
}

问题:如图14号的数据，结果采集到了15号，慢了8小时，希望得到的结果，是凌晨0点索引自动切换

原因: 原来Logstash用的UTC时间, logstash在按每天输出到elasticsearch时，因为时区使用utc，造成每天8:00才创建当天索引，而8:00以前数据则输出到昨天的索引

查看一些论坛,不建议更改源码，因为logstash和elasticsearch是按照UTC时间的，kibana却是按照正常你所在的时区显示的

解决:修改logstash配置

logstash在按每天输出到elasticsearch时，因为时区使用utc，造成每天8:00才创建当天索引，而8:00以前数据则输出到昨天的索引
在logstash filter 解决
　　1. 增加一个字段，计算timestamap+8小时
　　

            ruby {# 新增索引日期,解决地区时差问题code => "event.set('index_date', event.get('@timestamp').time.localtime + 8*60*60)"}

　　2. 用mutate插件先转换为string类型,gsub只处理string类型的数据，在用正则匹配，最终得到想要的日期
　　# 定义索引名时间

            mutate {convert => ["index_date", "string"]gsub => ["index_date", "T([\S\s]*?)Z", ""]gsub => ["index_date", "-", "."]}

3.output配置

      elasticsearch {hosts => ["localhost:9200"]index => "log1-%{index_date}"}

* 这里是取系统时间，你可以取你日志里面的时间戳来做索引名

或许有其他更好的方案！请留言告知

转载于:https://www.cnblogs.com/wangpei886/p/8043021.html

elk-logstash时区问题相关推荐

ELK logstash 处理MySQL慢查询日志
介绍在生产环境下,logstash 经常会遇到处理多种格式的日志,不同的日志格式,解析方法不同.下面来说说logstash处理多行日志的例子,对MySQL慢查询日志进行分析,这个经常遇到过,网络上疑 ...
ELK+logstash配置日志报警
需求通过读取日志文件监控,过滤日志信息的异常关键词,如ERR,error,Failed,warning等信息,将这些带有异常关键词的异常日志信息过滤出来,然后输出到zabbix,通过zabbix告警 ...
Logstash 时区问题
1. Date Filter 插件日期过滤器用于分析字段中的日期,然后使用该日期或时间戳作为事件的 logstash 时间戳. 1.1. 配置项 Setting Input type Require ...
ELK(Logstash＋Elasticsearch＋Kibana)的原理和详细搭建
一. Elastic Stack Elastic Stack是ELK的官方称呼,网址:https://www.elastic.co/cn/products ,其作用是"构建在开源基础之上, ...
[elk]logstash grok原理
logstash语法 http://www.ttlsa.com/elk/elk-logstash-configuration-syntax/ https://www.elastic.co/guide/ ...
企业日志分析ELK(Logstash+Elasticsearch+Kibana)介绍及搭建
目录一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.分片和副本三.LogStash概述 1. ...
搭建elk+logstash+kafka+filebeat日志收集平台
文章目录前言组件介绍原理图环境介绍安装日志收集与展示前言在日常的运维过程中,对系统日志和业务日志的处理比较重要,对于以后的数据分析.排查异常问题有很重的作用.今天就分享一个自己基于ka ...
Windows环境下的ELK——logstash输出apche日志到控制台（2）
logstash配置一.Apche日志文件输出 1.test.conf 2.apache.log 二.运行结果一.Apche日志文件输出文件结构 1.test.conf 注意这里无论是windo ...
elk,logstash -elastcisearch 429
2019独角兽企业重金招聘Python工程师标准>>> logstash log出现 01:44:50.412 [[main]>worker14] INFO logstash. ...
ELK logstash 配置自定义字段为索引
总结:自定义字段为索引,方便应用日志索引的规范命名. 1.filebeat 创建自定义字段,logstash 创建自定义字段类似. 例:filebeat 增加字段appname,值为mmq-nginx ...

elk-logstash时区问题

elk-logstash时区问题相关推荐

最新文章

热门文章