ELK日志分析平台(三)— kibana数据可视化、kibana监控、采集日志插件filebeat
1、kibana数据可视化——日志分析
[root@foundation50 network-scripts]# cd /mnt/pub/docs/elk/7.6/
[root@foundation50 7.6]# scp kibana-7.6.1-x86_64.rpm server4: 将安装包拷贝到server4上
[root@server4 ~]# rpm -ivh kibana-7.6.1-x86_64.rpm 安装
[root@server4 ~]# cd /etc/kibana/
[root@server4 kibana]# vim kibana.yml 编辑配置文件
[root@server4 kibana]# systemctl start kibana.service 启动
[root@server4 kibana]# netstat -antlupe | grep :5601 端口为5601
tcp 0 0 172.25.50.4:5601 0.0.0.0:* LISTEN 997 53471 4112/node
创建可视化
需要导入数据
然后再次创建可视化
可以将可视化保存
将可视化放到图形展示
示例2:用垂直条形图访问不同主机的访问量
创建可视化,选则垂直条形图
[root@server1 ~]# yum install -y httpd-tools 安装
[root@server2 ~]# yum install -y httpd-tools 安装
[root@server3 ~]# yum install -y httpd-tools 安装
[root@server1 ~]# ab -c1 -n 200 http://172.25.50.4/index.html server1压测访问200条
[root@server2 ~]# ab -c1 -n 300 http://172.25.50.4/index.html server2压测访问300条
[root@server3 ~]# ab -c1 -n 400 http://172.25.50.4/index.html server3压测访问400条
2、kibana监控
发现不可用,提示需要启用xpack安全验证
[root@server1 ~]# cd /usr/share/elasticsearch/
[root@server1 elasticsearch]# bin/elasticsearch-certutil ca 输出文件
Please enter the desired output file [elastic-stack-ca.p12]: 回车
Enter password for elastic-stack-ca.p12 : 回车
[root@server1 elasticsearch]# bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 生成证书
Enter password for CA (elastic-stack-ca.p12) : 回车
Please enter the desired output file [elastic-certificates.p12]: 回车
Enter password for elastic-certificates.p12 : 回车
[root@server1 elasticsearch]# cp elastic-certificates.p12 /etc/elasticsearch/ 拷贝证书到elasticsearch目录
[root@server1 elasticsearch]# chown elasticsearch elastic-certificates.p12
[root@server1 elasticsearch]# scp elastic-certificates.p12 server2:/etc/elasticsearch/ 将证书拷贝到server2
elastic-certificates.p12 100% 3451 4.5MB/s 00:00
[root@server2 elasticsearch]# chown elasticsearch elastic-certificates.p12
[root@server1 elasticsearch]# scp elastic-certificates.p12 server3:/etc/elasticsearch/ 将证书拷贝到server3
elastic-certificates.p12 100% 3451 4.5MB/s 00:00
[root@server3 elasticsearch]# chown elasticsearch elastic-certificates.p12
[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml 在文件最后添加如下参数 , server2和server3进行同样的操作
xpack.security.enabled: true 激活xpack认证
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12
[root@server1 elasticsearch]# systemctl restart elasticsearch.service 重启
[root@server1 ~]# cd /usr/share/elasticsearch/bin/ 进入bin目录
[root@server1 bin]# ./elasticsearch-setup-passwords interactive 进入交互式设置密码
Please confirm that you would like to continue [y/N]y
Enter password for [elastic]: 输入密码,每个密码输入两次
Reenter password for [elastic]: elastic为kibana的管理员用户,拥有所有权限
Enter password for [apm_system]:
Reenter password for [apm_system]:
Enter password for [kibana]:
Reenter password for [kibana]:
Enter password for [logstash_system]:
Reenter password for [logstash_system]:
Enter password for [beats_system]:
Reenter password for [beats_system]:
Enter password for [remote_monitoring_user]:
Reenter password for [remote_monitoring_user]:
[root@server4 ~]# cd /etc/kibana/
[root@server4 kibana]# vim kibana.yml 连接elaticsearch用户和密码设置
[root@server4 kibana]# systemctl restart kibana.service 重启
访问172.50.25.4:5601,需要用户名和密码
访问172.25.50.4:9000
访问172.25.50.4:9100,无法连接
解决方法如下:
[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml
[root@server1 elasticsearch]# systemctl restart elasticsearch.service 重启
访问:http://172.25.50.4:9100/?auth_user=elastic&auth_password=westos
logstash认证连接
[root@server4 ~]# cd /etc/logstash/conf.d/
[root@server4 conf.d]# vim apache.conf 编辑
[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf 运行
[root@foundation50 network-scripts]# ab -c1 -n 100 http://172.25.50.4/index.html 压测100
kibana监控配置
在指定的es集群的节点上安装metricbeat
[root@foundation50 network-scripts]# cd /mnt/pub/docs/elk/7.6/
[root@foundation50 7.6]# scp metricbeat-7.6.1-x86_64.rpm server1:
[root@server1 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm 安装
在 Metricbeat 中启用并配置 Elasticsearch x-pack 模块
[root@server1 ~]# cd /etc/metricbeat/
[root@server1 metricbeat]# cd modules.d/ 模块目录
couchdb.yml.disabled php_fpm.yml.disabled
docker.yml.disabled postgresql.yml.disabled
dropwizard.yml.disabled prometheus.yml.disabled
elasticsearch-xpack.yml.disabled rabbitmq.yml.disabled
elasticsearch.yml.disabled redis.yml.disabled
envoyproxy.yml.disabled sql.yml.disabled
etcd.yml.disabled stan.yml.disabled
golang.yml.disabled statsd.yml.disabled
googlecloud.yml.disabled system.yml
[root@server1 modules.d]# metricbeat modules enable elasticsearch-xpack 激活elasticsearch-xpack 模块
Enabled elasticsearch-xpack
[root@server1 modules.d]# vim elasticsearch-xpack.yml 编辑模块文件
配置 Metricbeat 以发送至监测集群
换句话说就是Metricbeat将监控本机的数据发送到那去
[root@server1 ~]# cd /etc/metricbeat
[root@server1 metricbeat]# vim metricbeat.yml 编辑metricbeat主配置文件
[root@server1 metricbeat]# systemctl enable --now metricbeat.service 启动
查看es平台,可以发现server1已经配置好,server2、server3用同样的方法配置
kibans节点日志采集插件——filebeat
官网
进入官网选择所需模块,按照官网配置
[root@foundation50 isos]# cd /mnt/pub/docs/elk/7.6/
[root@foundation50 7.6]# scp filebeat-7.6.1-x86_64.rpm server1: 拷贝filebeat到server1
[root@server1 ~]# rpm -ivh filebeat-7.6.1-x86_64.rpm 安装
[root@server1 ~]# cd /etc/filebeat/
[root@server1 filebeat]# cd modules.d/ 模块 ,这里面有很多服务的日志模块
activemq.yml.disabled ibmmq.yml.disabled netflow.yml.disabled
apache.yml.disabled icinga.yml.disabled nginx.yml.disabled
auditd.yml.disabled iis.yml.disabled osquery.yml.disabled
aws.yml.disabled iptables.yml.disabled panw.yml.disabled
azure.yml.disabled kafka.yml.disabled postgresql.yml.disabled
cef.yml.disabled kibana.yml.disabled rabbitmq.yml.disabled
cisco.yml.disabled logstash.yml.disabled redis.yml.disabled
coredns.yml.disabled misp.yml.disabled santa.yml.disabled
elasticsearch.yml.disabled mongodb.yml.disabled suricata.yml.disabled
envoyproxy.yml.disabled mssql.yml.disabled system.yml.disabled
googlecloud.yml.disabled mysql.yml.disabled traefik.yml.disabled
haproxy.yml.disabled nats.yml.disabled zeek.yml.disabled现在我们监控整个es集群的日志
[root@server1 modules.d]# filebeat modules enable elasticsearch 激活elasticsearch模块
Enabled elasticsearch
[root@server1 modules.d]# vim elasticsearch.yml 编辑
[root@server1 ~]# cd /etc/filebeat
[root@server1 filebeat]# vim filebeat.yml
[root@server1 filebeat]# systemctl enable --now filebeat.service 启动
ES集群检索存入大量的数据会有问题,需要进行索引生命周期配置管理
![在这里插入图片描述](https://img-blog.csdnimg.cn/f2061ea95a104be5835f20a485f5a3a7.png#pic_center
ELK日志分析平台(三)— kibana数据可视化、kibana监控、采集日志插件filebeat相关推荐
- 搭建ELK日志分析平台(下)—— 搭建kibana和logstash服务器
27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志 本文是 ...
- python 可视化分析平台_python 数据分析数据可视化工具matplotlib
说明: 数据可视化中的数据集下载地址:(数据来源:从零开始学python数据分析和挖掘) 链接:https://pan.baidu.com/s/1zrNpzSNVHd8v1rGFRzKipQ 提取码: ...
- 搭建ELK日志分析平台(上)—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群 笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装 ...
- 企业 Elasticsearch日志分析平台
文章目录 Elasticsearch介绍 Elasticsearch应用场景 安装配置 配置集群信息 添加图形界面 ES分布式部署 ES里的节点角色说明 节点优化配置 节点的组合配置方式 实验测试 l ...
- 大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践
猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第三期分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...
- 手把手教你搭建 ELK 实时日志分析平台
来自:武培轩 本篇文章主要是手把手教你搭建 ELK 实时日志分析平台,那么,ELK 到底是什么呢? ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch.Logstash ...
- ELK实时日志分析平台环境部署--完整记录
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
- ELK日志分析平台.1-搭建
ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elas ...
- 携程ELK日志分析平台深耕之路
源起 日志,看似简单简单的文本,在网站运维人员眼里却似一座蕴含丰富的宝藏.通常以下运维任务都或多或少需要运维人员和日志打交道: 系统健康状况监控 查找故障根源 系统瓶颈诊断和调优 追踪安全相关问题 技 ...
最新文章
- 推荐8个私藏已久的实用网站,每一款都能带来惊喜!
- keepalived+LVS实现负载均衡集群
- 使tomcat和lighttpd使用service启停
- yolov5剪枝开源分享
- 【BZOJ】1679: [Usaco2005 Jan]Moo Volume 牛的呼声(数学)
- Sublime Text 2 中运行 PHP
- 11张图演进SeviceMesh服务网格
- 后台运行python程序 遇到缓冲区问题
- 基于JAVA+Servlet+JSP+MYSQL的读者荐购系统
- cout 格式化输出
- 数据库文件导入SQL数据库
- PDF文件怎么制作,PDF文件制作方法
- C++ 回调函数 例子
- php网易云信短信接口,短信接口指南
- 启动计算机显示屏没反应,电脑开机后显示器无反应怎么办
- android设备如何苹果,手机怎么玩:如何像安卓一样管理iPhone文件?_苹果 iPhone 5_手机生活新闻-中关村在线...
- 解决 There is no getter for property named ‘null‘ in ‘class 报错
- ip地址计算器php源码,php版 子网掩码计算器
- 2016年中山市信息学竞赛暨全国信息学联赛成绩表(普及组)
- 计算机求导方法:自动微分(Automatic Differentiation)