elk查询nginx日志响应时间

一、目标

通过kibana方便查询nginx中的响应时间

二、搭建过程

本文的架构是：Filebeat+kafka+Logstash+ES+kibana,具体搭建请参照其他文章。版本是elasticsearch 7.4。

新增配置如下：

1、nginx日志格式修改

为了能让es识别nginx响应时间数据,成为独立的字段，需要把nginx日志改为json输出。

log_format main '{"@timestamp":"$time_iso8601",''"trace":"$upstream_http_ctx_transaction_id",''"log":"log",''"remote_addr":"$remote_addr",''"request":"$request",''"http_user_agent":"$http_user_agent",''"bytes_sent":$bytes_sent,''"request_time":$request_time,''"upstream_response_time":"$upstream_response_time",''"upstream_addr":"$upstream_addr",''"scheme":"$scheme",''"server_addr":"$server_addr",''"http_host":"$http_host",''"host":"$host",''"uri":"$uri",''"http_x_forwarded_for":"$http_x_forwarded_for",''"http_referer":"$http_referer",''"status":"$status"}';

重启nginx, 是日志配置生效。

2、filebeat

修改filebeat.yml配置文件，在需要显示为json的输入类型中添加一下配置：

json.message_key: eventjson.keys_under_root: truejson.add_error_key: true

重启filebeat:

service filebeat restart

3、kibana配置

因为有新的字段加入，所以要刷新nginx的索引模式

三、效果

查看

搜索条件，大于1秒的请求：

elk查询nginx日志响应时间相关推荐

CentOS 7.2下ELK分析Nginx日志生产实战(高清多图)
注:本文系原创投稿本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名 ...
CentOS下ELK收集Nginx日志
1. ELK收集Nginx普通格式的日志 1.1 测试服务器架构 1.2 ab工具使用 yum install httpd-tools -y# -n 总共发送多少条请求,注意,最后"/&qu ...
转: 基于elk 实现nginx日志收集与数据分析
原文链接:https://www.cnblogs.com/wenchengxiaopenyou/p/9034213.html 一.背景前端web服务器为nginx,采用filebeat + logs ...
利用ELK分析Nginx日志生产实战(高清多图)
本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意 ...
ELK系统分析nginx日志
ELK系统在安装完成后需要处理相关的日志文件,本文主要对nginx日志文件进行处理并进行可视化操作,来满足日常的业务需求,长话短说,接下来介绍我的环境具体的网络拓扑图如下: 具体配置如下: serv ...
ELK 收集 Nginx 日志
01 安装 Nginx 和 ab 工具 1.1 安装 nginx sudo apt-get install nginx -y # 安装Nginx sudo apt-get install apache ...
ELK收集nginx日志并展示来源IP城市分布图
安装ELK elasticsearch下载地址: https://www.elastic.co/downloads/elasticsearch logstash下载地址: https://www.el ...
elk收集nginx日志
一 :客户端logstash.conf配置文件 input {file {path => "/usr/local/nginx/logs/access.log"type =&g ...
如何挖掘Nginx日志中隐藏的金矿？
" 对很多开发运维人员来说,Nginx日志文件在被删除前可能都不会看上一眼.但实际上,Nginx隐藏了相当丰富的信息,或许其中便蕴含着未知的金矿等你挖掘! Nginx(读作Engine-X) ...

elk查询nginx日志响应时间

elk查询nginx日志响应时间相关推荐

最新文章

热门文章