Elk-Metricbeat配置Nginx的日志分析 (Metricbeat-part2)
1 情况说明：
Metricbeat的基本安装部分可以参考：
Metricbeat 8.4.0 linux 安装(Metricbeat-part1)_yangkei的博客-CSDN博客
下面来聊聊如何通过elk+metricbeat来监控Nginx日志。
借用网上以为大师的图就是这样子
Metricbeat 采集 Nginx 指标_叶康铭的博客-CSDN博客
在 Nginx 中相关的状态页面需要通过打开 http_stub_status_module 这个模块获取，在编译 Nginx 时，通过加上--with-http_stub_status_module 进行打开，对应的访问/nginx_status页面就可以获取的 Nginx 的服务状态了。
2 Nginx安装：
参考Nginx安装步骤：
【Web】Nginx下载与安装 - H__D - 博客园
下载当前最新版本1.23.1，上传安装包。
安装相应的4个依赖包：
yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel
创建安装目录：
mkdir -p /app/nginx
解压，安装
cd /app/install/
tar -xzvf nginx-1.23.1.tar.gz
cd /app/install/nginx-1.23.1
./configure --prefix=/app/nginx --with-http_stub_status_module
make
make install
检查版本：（用root用户启动，避免权限问题）
[root@goya1 sbin]# pwd
/app/nginx/sbin
[root@goya1 sbin]# ./nginx -v
nginx version: nginx/1.23.1
[root@goya1 sbin]# ./nginx
[root@goya1 sbin]# ps -ef |grep nginx
root 58789 1 0 15:58 ? 00:00:00 nginx: master process ./nginx
nobody 58790 58789 0 15:58 ? 00:00:00 nginx: worker process
root 58793 9323 0 15:59 pts/2 00:00:00 grep --color=auto nginx
修改属组权限：
chown -R es.es nginx/
查看Nginx访问：http://192.168.88.5:80
Nginx常用操作：
重新加载配置命令：./sbin/nginx -s reload
查看命令：ps -ef | grep nginx
关闭命令：./sbin/nginx -s reload -s stop 或者：kill -9 进程号
3, 修改Nginx配置文件：
cd /app/nginx/conf
vi nginx.conf（添加如下内容）
location /status {
stub_status on;
allow all;
}
验证：
[root@goya1 ~]# curl http:/192.168.88.5/status
Active connections: 1
server accepts handled requests
1 1 1
Reading: 0 Writing: 1 Waiting: 0
参数说明参考：
4, 配置Nginx Module
启用nginx module
[es@goya1 metricbeat]$ metricbeat modules enable nginx
Enabled nginx
修改nginx module配置
vim modules.d/nginx.yml
# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/main/metricbeat-module-nginx.html
- module: nginx
metricsets:
- stubstatus
period: 10s
# Nginx hosts
hosts: ["http://192.168.88.5:80/"]
# Path to server status. Default nginx_status
server_status_path: "status"
#username: "user"
#password: "secret"
检查metricbeat.yml文件配置：
[es@goya1 metricbeat]$ cat metricbeat.yml |grep -v "#" |grep -v "^$"
metricbeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
index.codec: best_compression
setup.kibana:
host: "192.168.88.5:5601"
output.elasticsearch:
hosts: ["192.168.88.5:9200","192.168.88.7:9200","192.168.88.9:9200"]
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
设置 Metricbeat 创建 Kibana上的 Index Pattern 和 Dashboard
[es@goya1 metricbeat]$ metricbeat setup
Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling.
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
重启metricbeat
./metricbeat -e
5, Kibana配置及查看
登录Kibana控制台http://192.168.88.5:5601/app/home#/
搜索关键字"nginx"会有相应的模板结果。
选中就会展示监控信息：
至此，Kibana+Metricsbeat+Nginx监控就配置完毕。
Elk-Metricbeat配置Nginx的日志分析 (Metricbeat-part2)相关推荐
- 大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践
猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第三期分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...
- nginx 访问日志分析工具 goacess
2019独角兽企业重金招聘Python工程师标准>>> 20150702 nginx 访问日志分析 goacess 1.安装GoAccess需要一些系统支持库 yum install ...
- ELK(ElasticSearch, Logstash, Kibana)实时日志分析平台部署
开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成.官方网站:https://www.elastic.co/p ...
- nginx 错误日志分析
一.Nginx配置和内核优化 实现突破十万并发 二.一次Nignx的502页面的错误记录 (1)错误页面显示 错误日志: 2017/07/17 17:32:57 [error] 29071#0: *9 ...
- Nginx访问日志分析
1.首先说明Nginx日志存放在系统的哪个位置,可以使用下列命令: 找到*/nginx/logs/access.log这个关键路径,就是Nginx的访问日志的位置.(其中*代表你电脑nginx文件夹前 ...
- Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
为什么80%的码农都做不了架构师?>>> 前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析.目前我们服务的用户包括微博.微盘.云存储.弹性计算平台等十多 ...
- ELK学习10_ELK系列--实时日志分析系统ELK 部署与运行中的问题汇总
前记: 去年测试了ELK,今年测试了Storm,最终因为Storm需要过多开发介入而放弃,选择了ELK.感谢互联网上各路大神,目前总算是正常运行了. logstash+elasticsearch+ki ...
- nginx安全日志分析脚本的编写
https://blog.csdn.net/nextdoor6/article/details/51914966
- nginx 请求日志分析
$remote_addr: 客户端的ip地址 $remote_user: 用于记录远程客户端的用户名称 $time_local: 用于记录访问时间和时区 $request: 用于记录请求的url以及请 ...
- 使用elk+redis搭建nginx日志分析平台（引）
http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...
最新文章
- 张一鸣卸任CEO，立下10年之约，期望突破线性延伸
- Eclipse解决Ctrl+c很卡的方法
- 交叉验证python_急！请教一个python里交叉验证的问题
- 初次尝试使用Windbg调试Sql Server 进程
- # # # 正则
- 灵魂拷问：用移位来代替除法运算真的效率高吗？Java 编译器到底有没有做除法优化？
- 10行代码AC——1016 部分A+B (15分)
- 2011（信息学奥赛一本通-T1234）
- java实现生产者消费者问题
- oracle安装gcc报错,ubuntu 安装oracle10g
- sim7600ce 拨号上网测试_树莓派系列教程：通过SIM7600 4G模块NDIS拨号
- 警方耗时19天抓捕了摄像头破解软件黑产，但你还要知道这些才能放心
- mysql数据类型强转
- JAVA类加载机制详解
- 重装系统后如何恢复mysql服务
- 人在广州，力撑陈 Sir
- 蓝凌OA系统任意文件读取
- 对Redis数据库的学习！
- vue 全局刷新与局部刷新
- PG服务进程（Postgres）——BeginReportingGUCOptions向客户端汇报GUC