elk-nginx输出json格式的日志

把Nginx日志的格式输出成JSON格式展示在Kibana面板，生产环境中基本都是这么使用。

1, 配置nginx

主要修改nginx的访问日志格式，这里定义成json格式，以便后面logstash更好的处理，建议生产环境也这样使用。在主配置/etc/nginx/nginx.conf文件中添加如下内容（注释其他日志格式）：

    log_format json '{"@timestamp":"$time_iso8601",''"host":"$server_addr",''"clientip":"$remote_addr",''"size":$body_bytes_sent,''"responsetime":$request_time,''"upstreamtime":"$upstream_response_time",''"upstreamhost":"$upstream_addr",''"http_host":"$host",''"url":"$uri",''"referer":"$http_referer",''"agent":"$http_user_agent",''"status":"$status"}';

在/etc/nginx/conf.d/default.conf中添加如下一行，定义nginx日志使用的格式，以及日志文件的位置。

access_log  /var/log/nginx/access.log  json;

重新启动 nginx

nginx -s stop
nginx

2, 配置logstash

修改 indexer的角色配置文件 logstash_indexer.conf

input {redis {host => "localhost"data_type => "list"key => "filebeat"type => "redis-input"}
}filter {json {source => "message"remove_field => "message"}
}output {elasticsearch {hosts => ["localhost"]index => "logstash-nginx-%{+YYYY.MM.dd}"document_type => "nginx"# template => "/usr/local/logstash-2.3.2/etc/elasticsearch-template.json"workers => 1flush_size => 20000idle_flush_time => 10}
}

删除老的 es数据

$ rm -fr /data/elasticsearch/*

然后重启 logstash 和 elasticsearch, 继续刷新 nginx日志

转载自: http://www.ywnds.com/?p=9776

elk-nginx输出json格式的日志相关推荐

logback输出json格式日志并带traceId
java日志接入elk 要求输出json格式,之前通过layout 自定义json格式,消息里有引号不能解析,收录报错现提供一种方式,通过 logstash-logback-encode 和 s ...
nginx 日志输出json格式
背景 nginx 默认输出acces日志格式是message格式.现在都做日志统一分析ELK了,message格式就不是很适用了. 所以输出json格式就应用而生了. 修改 nginx.conf 配置 ...
2 ELK收集nginx的json格式日志
为了便于利用 ELK日志平台收集展示 Nginx 的日志,可以将 Nginx 的日志改成 json 的格式 https://www.jianshu.com/p/b6ba259777e7 1.修改ngi ...
java agent_GitHub - dingjs/javaagent: 基于javaagent开发的APM工具，收集方法的执行次数和执行时间，定时输出成json格式的日志。...
Javaagent 概述 javaagent是一个简单优雅的java agent,利用java自带的instrument特性+javassist字节码编辑技术,实现了无侵入的方法级性能监控.相比于Ne ...
SpringBoot-logback配置输出Json格式日志
SpringBoot-logback配置输出Json格式日志 logback配置Json格式日志参考 logback配置Json格式日志直接上配置代码 <?xml version=" ...
php 正确的输出json格式
2019独角兽企业重金招聘Python工程师标准>>> php 正确的输出json格式 php直接输出json格式,很多新手有一个误区,以为用echo json_encode($da ...
java json数据输出,java服务器端输出JSON格式数据
java服务器端输出JSON格式数据本文我们讨论如何在服务器端输出 JSON 格式的数据.以 Java 为例,我们将演示将一个 Java 对象编码为 JSON 格式的文本. 将 String 对象编 ...
php+json对象格式,PHP 创建对象来输出 JSON 格式
PHP 想要输出 JSON [{0 -> xxx, north -> ooo}],但是没有对象(PHP: Objects),想要直接指定值,再使用 json_encode() 产生 JSO ...
ASP.NET Hashtable输出JSON格式数据 - 贵源网络 - 博客园
ASP.NET Hashtable输出JSON格式数据 - 贵源网络 - 博客园 ASP.NET Hashtable输出JSON格式数据

elk-nginx输出json格式的日志

1, 配置nginx

2, 配置logstash

elk-nginx输出json格式的日志相关推荐

最新文章

热门文章