快速搭建ELK日志分析系统
官网地址:https://www.elastic.co/cn/
官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
安装指南:https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html
ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。
Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据
主要解决思路:建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用。目前主流的一种日志系统。
环境准备:
关闭防火墙、关闭 selinux
systemctl stop firewalld.service
setenforce
服务器 | 安装部署 |
---|---|
10.0.0.21 | jdk环境、elasticsearch、kibana |
10.0.0.22 | jdk环境、logstash |
所需安装包(可下载):
jdk-8u131-linux-x64_.rpm
elasticsearch-6.6.2.rpm
链接
kibana-6.6.2-x86_64.rpm
链接
logstash-6.6.0.rpm
链接
开始部署
1.安装 jdk 环境
[root@fp-22 ELK]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
2.安装 elasticsearch
[root@fp-21 ELK]# yum -y install elasticsearch-6.6.2.rpm
Loaded plugins: fastestmirror
……
Installed:elasticsearch.noarch 0:6.6.2-1
Complete!
修改配置文件,打开主机IP和端口的注释,将主机IP修改为自己的IP,我这里是10.0.0.21
[root@fp-21 elasticsearch]# vim elasticsearch.yml54 #55 network.host: 10.0.0.2156 #59 http.port: 920060 #
保存退出,启动服务
[root@fp-21 elasticsearch]# vim elasticsearch.yml
此时可以通过看日志来判断服务是否启动
[root@fp-21 ~]# tail -f /var/log/elasticsearch/elasticsearch.log
……
[2020-02-12T22:22:32,409][INFO ][o.e.n.Node ] [9ITBrSO] started
[2020-02-12T22:22:33,905][INFO ][o.e.l.LicenseService ] [9ITBrSO] license [da7afc9e-0e8f-435c-b861-0e2d60a8fec5] mode [basic] - valid
通过查看,日志显示已经启动,便可以去查端口是否启动、
[root@fp-21 elasticsearch]# ss -lntp |grep java
LISTEN 0 128 ::ffff:10.0.0.21:9200 :::* users:(("java",pid=9525,fd=191))
LISTEN 0 128 ::ffff:10.0.0.21:9300 :::* users:(("java",pid=9525,fd=183))
配置 elasticsearch,启动完毕
3.安装 logstash
[root@fp-22 ELK]# yum -y install logstash-6.6.0.rpm
Loaded plugins: fastestmirror
……
Installed:logstash.noarch 1:6.6.0-1
Complete!
logstash 核心功能是存储日志、搜索日志,所以我们要在配置文件中写入一些主要信息
[root@fp-22 ELK]# cd /etc/logstash/conf.d/
[root@fp-22 conf.d]# vim messages.conf
input {file {path => "/var/log/messages" # 日志的路径type => "messages-log" # 日志的类型start_position => "beginning" # 日志收集的位置}
}output {elasticsearch {hosts => "10.0.0.21:9200" # 日志的主机 index => "messages_log-%{+YYYY.MM.dd}" # 显示的格式}
}
保存退出,启动服务
[root@fp-22 conf.d]# systemctl start logstash.service
我们用日志进行查看是否成功
[root@fp-22 ~]# tail -f /var/log/logstash/logstash-plain.log
……
[2020-02-12T22:37:25,312][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
[2020-02-12T22:37:25,429][WARN ][filewatch.tailmode.handlers.createinitial] failed to open /var/log/messages: #<Errno::EACCES: Permission denied - /var/log/messages>, ["org/jruby/RubyFile.java:366:in `initialize'", "org/jruby/RubyIO.java:1154:in `open'", "/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-input-file-4.1.9/lib/filewatch/watched_file.rb:198:in `open'"]
1234
可以看到,启动成功,但是有一个问题,没有打开目录的权限,所以此时,应该授权并重新启动
[root@fp-22 conf.d]# chmod 755 -R /var/log/*
[root@fp-22 conf.d]# systemctl restart logstash.service
再次查看日志
[root@fp-22 ~]# tail -f /var/log/logstash/logstash-plain.log
……
[2020-02-12T22:44:46,575][INFO ][filewatch.observingtail ] START, creating Discoverer, Watch with file and sincedb collections
[2020-02-12T22:44:47,250][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
启动成功,没有问题,便可以去查看端口时候启动成功
[root@fp-22 conf.d]# ss -lntp |grep 9600
LISTEN 0 50 [::ffff:127.0.0.1]:9600 [::]:* users:(("java",pid=52665,fd=86))
配置 logstash,启动完毕
4.安装 kibana
[root@fp-21 ELK]# yum -y install kibana-6.6.2-x86_64.rpm
Loaded plugins: fastestmirror
……
Installed:kibana.x86_64 0:6.6.2-1
Complete!
修改配置文件,将端口号、主机IP、elasticsearch IP修改并打开注释
[root@fp-21 kibana]# vim kibana.yml2 server.port: 56013 7 server.host: "10.0.0.21"8 28 elasticsearch.hosts: ["http://10.0.0.21:9200"]29
保存退出,启动服务
[root@fp-21 kibana]# systemctl start kibana.service
查看端口是否启动成功
[root@fp-21 kibana]# ss -lntp |grep 5601
LISTEN 0 128 10.0.0.21:5601 *:* users:(("node",pid=11228,fd=18))
配置 kibana,启动完毕
5.访问页面
添加索引,如下:
出现此页面,添加索引成功
6.给日志添加可视化图形
这里我选择的是线程图
选择索引
点击便可查看
准备服务器–>安装软件–>搭建ELK环境–>收集日志–>添加索引–>可视化图形显示
快速搭建ELK日志分析系统相关推荐
- 搭建ELK日志分析系统详解
日志分析是运维工程师解决系统故障.发现问题的主要手段.日志包含多种类型,包括程序日志.系统日志以及安全日志等.通过对日志的分析,既可以做到未雨绸缪.预防故障的发生,又可以在故障发生时,寻找蛛丝马迹.快 ...
- Ubuntu 16.04源码搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)
ELK环境 : 操作系统:Ubuntu 16.04 RAM:4GB CPU:2 注意 : 5.0版本之前可以在启动指令后跟:-Des.insecure.allow.root=true或者修改elast ...
- 如何快速搭建一个简易的ELK日志分析系统
一.ELK简介 ELK就是一款非常优秀的.开源的.用于搭建实时日志分析平台的组件.ELK是Elasticsearch.Logstash和Kiabana这3款开源框架首字母的缩写.通过这三个组件,构 ...
- 十分钟搭建和使用ELK日志分析系统
十分钟搭建和使用ELK日志分析系统 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为" ...
- ELK日志分析系统搭建以及springboot日志发送到ELK中
前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...
- ELK日志分析系统(二)之ELK搭建部署
文章目录 引言 一.Elasticsearch 集群部署(在Node1上操作) 1.准备环境 2.部署安装Elasticsearch软件 3.配置Elasticsearch主配置文件 4.创建数据存放 ...
- ELK日志分析系统之ELK搭建部署
文章目录 配置ELK日志分析系统 1.配置elasticsearch环境 2.部署elasticsearch软件 2.1 安装Elasticsearch软件 2.2 加载系统服务 2.3 修改elas ...
- 运维必备——ELK日志分析系统
目录 一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...
- ELK日志分析系统(一)之ELK原理
文章目录 引言 一.ELK简介 1.ELK日志分析系统组成 1.1 Elasticsearch(es) 1.2 Logstash 1.3 Kibana 2.日志处理步骤 二.Elasticsearch ...
最新文章
- USACO 2.3 Money Systems(DP)
- 【MM模块】Releasing Blocked Invoices 释放冻结发票
- Cambridge hpc
- windows mysql提示:1045 access denied for user 'root'@'localhost' using password yes 解决方案
- android 蒙版图片带拖动_Android实现蒙版弹出框效果
- 从零开发一个laravel项目的增删改查、详情
- JavaScript 转载
- Git 别名(分布式版本控制系统)
- (15)FPGA面试技能提升篇(TDD-LTE协议、GTX IP)
- 如何调整html中音乐播放器的大小,html5实现在线响应式音乐播放器
- android 开发 - 结束所有activity
- 目标检测(十九)--SoftNMS
- php高并发状态下文件的读写
- 查看SQLSERVER内部数据页面的小插件Internals Viewer
- python相关系数显著性检验_Python+pandas计算数据相关系数的实例
- 维多利亚计算机专业怎么样,维多利亚大学计算机科学专业 学生要学哪些内容...
- librosa实现音频格式转换(单曲批量) | MP3转wav
- linux下编译qt chart,QT Charts入门
- 如何获取美团饿了么的推广链接赚钱
- 多功能计算机使用教程,腾讯tim使用教程计算机应用知识
热门文章
- b2b2c商城系统运营方法
- U盘文件系统,分配单元大小,快速格式化与格式化的不同
- Flutter设置横线
- echarts折线图最后一位不显示的问题及重影问题
- 采购管理-输入、输出、工具和技术
- 尼得科Nidec风扇4015风机和G40R风机介绍
- Call to undefined function sftp\ssh2_connect();安装PHP ssh2扩展
- 本人使用CUBE时遇到的问题,引脚配置时,有些外设引脚出现黄色感叹号...
- 寅家科技完成近亿元B1轮融资,加速高阶智能驾驶布局
- element-ui Tree点旁边、背景会跟着消失的解决方法