EKL日志分析平台-kibana数据可视化
目录
简介
实验环境
安装kibana
可视化
内部信息查询
启用xpack验证
连接elastic
head连接
优化
metricbeat 下载
filebeatElasticsearch module | Filebeat Reference [7.6] | Elastichttps://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html
简介
kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
实验环境
server1-3 es集群优化好
安装kibana
准备安装包kibana-7.6.1-x86_64.rpm,server4
rpm -ivh kibana-7.6.1-x86_64.rpm 编辑配置文件
cd /etc/kibana/115 i18n.locale: "zh-CN" 中文
37 kibana.index: ".kibana"
28 elasticsearch.hosts: ["http://172.25.7.1:9200"]
2 server.port: 5601
7 server.host: "172.25.7.4"
启动服务查看端口
systemctl start kibana.service
可视化
http://172.25.7.4:5601
使用样例模板
选swap
左下脚manager进入管理，创建索引
索引可视化v
当我们再次收集apache
server4 logstash -f /etc/logstash/conf.d/test.conf主机ab -c1 -n 500 http://172.25.7.4/index.html
创建可视化垂直
加xy轴
server1主机访问步骤一样
保存，top3
创建仪表板dashbord
保存
刷新时间
内部信息查询
启用xpack验证
server1
找到证书工工具
[root@server1 bin]# cd ..
[root@server1 elasticsearch]# bin/elasticsearch-certutil ca
回车
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12[root@server1 elasticsearch]# ls
bin jdk modules README.asciidoc
elastic-certificates.p12 lib NOTICE.txt
elastic-stack-ca.p12 LICENSE.txt plugins
[root@server1 elasticsearch]
cp elastic-certificates.p12 /etc/elasticsearch/
每个节点的都需要
chown elasticsearch elastic-certificates.p12
vim elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12证书复制
scp -p elastic-certificates.p12 server2:/etc/elasticsearch/elastic-certificates.p12
重启服务
连接elastic
cd /usr/share/elasticsearch/bin/
[root@server1 bin]# ls
elasticsearch elasticsearch-saml-metadata
elasticsearch-certgen elasticsearch-setup-passwords
elasticsearch-certutil elasticsearch-shard
elasticsearch-cli elasticsearch-sql-cli
elasticsearch-croneval elasticsearch-sql-cli-7.6.1.jar
elasticsearch-env elasticsearch-syskeygen
elasticsearch-env-from-file elasticsearch-users
elasticsearch-keystore x-pack-env
elasticsearch-migrate x-pack-security-env
elasticsearch-node x-pack-watcher-env
elasticsearch-plugin
[root@server1 bin]#
./elasticsearch-setup-passwords --help
./elasticsearch-setup-passwords interactive
交互式设密码
server4
[root@server4 conf.d]# cd /etc/kibana/
[root@server4 kibana]# ls
apm.js kibana.yml
[root@server4 kibana]# vim kibana.yml
elasticsearch.username: "kibana"
elasticsearch.password: "westos"
systemctl restart kibana.service
自己在交互式式的密码
连接logstash
[root@server4 conf.d]# vim test.conf
[root@server4 conf.d]# cat test.confinput {
file {
path => "/var/log/httpd/access_log"
start_position => "beginning"
}}
filter {
grok {
match => { "message" => "%{HTTPD_COMBINEDLOG}" }
}
}output {
stdout {}elasticsearch {
hosts => ["172.25.7.1:9200"]
index => "apachelog-%{+yyyy.MM.dd}"
user => "elastic"
password => "westos"
}
}logstash -f test.conf
head连接
[westos@students72 Desktop]$ podman ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
[westos@students72 Desktop]$ podman ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
dcb45a704ec0 docker.io/mobz/elasticsearch-head:5 /bin/sh -c grunt ... 28 hours ago Created 0.0.0.0:9100->9100/tcp head
a22dbf1d5e7f docker.io/lmenezes/cerebro:latest 28 hours ago Created 0.0.0.0:9000->9000/tcp cerbro
[westos@students72 Desktop]$ podman start cerbro
cerbro
[westos@students72 Desktop]$
Head连接
2.server
vim /etc/elasticsearch/elasticsearch.yml添加
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type重启服务
http://172.25.7.1:9100//?auth_user=elastic&auth_password=westos
访问连接
优化
metricbeat 下载
rpm -ivh metricbeat-7.6.1-x86_64.rpm
metricbeat modules enable elasticsearch-xpack
vim elasticsearch-xpack.yml
[root@server1 metricbeat]# vim metricbeat.ymlsystemctl start metricbeat.service
内部采集进入集群节点3
2.3同样安装
filebeatElasticsearch module | Filebeat Reference [7.6] | Elastichttps://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html
# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html- module: elasticsearch# Server logserver:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths:- /var/log/elasticsearch/*.log - /var/log/elasticsearch/*_server.jsongc:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths:- /var/log/elasticsearch/gc.log.[0-9]*- /var/log/elasticsearch/gc.logaudit:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths:- /var/log/elasticsearch/*_access.log- /var/log/elasticsearch/*_audit.jsonslowlog:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths:- /var/log/elasticsearch/*_index_search_slowlog.log - /var/log/elasticsearch/*_index_indexing_slowlog.log- /var/log/elasticsearch/*_index_search_slowlog.json- /var/log/elasticsearch/*_index_indexing_slowlog.jsondeprecation:enabled: true# Set custom paths for the log files. If left empty,# Filebeat will choose the paths depending on your OS.var.paths:- /var/log/elasticsearch/*_deprecation.log- /var/log/elasticsearch/*_deprecation.json
vim filebeat.yml根metricbeat一样
重启服务
EKL日志分析平台-kibana数据可视化相关推荐
- ELK日志分析平台——Kibana数据可视化和xpack安全验证
目录 一.kibana简介 二.kibana安装与配置 三.启用xpack安全验证 一.kibana简介 Kibana 核心产品搭载了一批经典功能:柱状图.线状图.饼图.旭日图,等等. 将地理数据融入 ...
- ELK日志分析平台（三）— kibana数据可视化、kibana监控、采集日志插件filebeat
1.kibana数据可视化--日志分析 [root@foundation50 network-scripts]# cd /mnt/pub/docs/elk/7.6/ [root@foundation5 ...
- 大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践
猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第三期分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...
- 搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器
27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志 本文是 ...
- 手把手教你搭建 ELK 实时日志分析平台
来自:武培轩 本篇文章主要是手把手教你搭建 ELK 实时日志分析平台,那么,ELK 到底是什么呢? ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch.Logstash ...
- ELK实时日志分析平台环境部署--完整记录
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
- 腾讯技术课|基于Elastic Stack 搭建日志分析平台
为了让读者们可以更好的理解「如何基于Elastic Stack 搭建日志分析平台」,腾讯技术工程公众号特别邀请腾讯基础架构部的陈曦工程师通过语音录播分享的方式在「腾讯技术课」小程序里同步录制了语音+P ...
- ELK日志分析平台.1-搭建
ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elas ...
- 携程ELK日志分析平台深耕之路
源起 日志,看似简单简单的文本,在网站运维人员眼里却似一座蕴含丰富的宝藏.通常以下运维任务都或多或少需要运维人员和日志打交道: 系统健康状况监控 查找故障根源 系统瓶颈诊断和调优 追踪安全相关问题 技 ...
最新文章
- 启用IIS的Gzip压缩 【转】
- 运维企业专题（9）RHCS集群工具介绍
- C++ ＞＞和＜＜读写文本文件
- PyTorch教程（十）：单层感知机以及梯度更新
- SAP Analytics Cloud关于Smart Predict功能的说明
- Mysql带返回值与不带返回值的2种存储过程
- 小程序 iphone和安卓_如何阻止iPhone和iPad应用程序要求评级
- 毕业设计C语言网吧管理系统,毕业设计网吧管理系统.doc
- 第五十七期:小型企业将如何从5G中受益
- selenium自动向下滚动页面，并指定最大滑动距离
- 摄像头成像数据可见窗口计算
- Java Code Examples for org.apache.ibatis.annotations.Insert
- python基础学习1-字典的使用
- 在leangoo里怎么添加泳道？
- HttpServlet介绍
- sumif 根据条件求和
- vscode 折叠所有区域代码快捷键
- Aruba 无线调试（Instant AP）
- 如何用PS做出火焰文字的效果？
- win10无法自动修复此计算机,Win10 无法启动 自动修复无限循环