ELK日志系统环境搭建，javaswing教程
ZERO
持续更新 请关注：https://zorkelvll.cn/blogs/zorkelvll/articles/2019/03/20/1553062484473
背景
近期由于项目需求，需要建立一套日志聚合系统，采用经典的ELK(logstash =》elasticsearch =》kibana)日志系统架构，本文则是记录相关elasticsearch\logstash\kibana\filebeat等环境的安装过程!
说明：
数据流走向：filebeat => logstash => elasticsearch => kibana
组件启动顺序：elasticsearch => logstash => kibana (ELK名称的来源？) => filebeat
下载
在elk官网下载安装包logstash\elasticsearch\kibana 以及filebeats，其中elasticsearch的下载以及安装过程可参见ElasticSearch 环境搭建
cd /usr/local #root用户
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.2-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-linux-x86_64.tar.gz
tar -zxvf logstash-6.6.2.tar.gz
chown es:es /usr/local/logstash-6.6.2/ -R
tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz
chown es:es /usr/local/kibana-6.6.2-linux-x86_64/ -R
tar -zxvf filebeat-6.6.2-linux-x86_64.tar.gz
chown es:es /usr/local/filebeat-6.6.2-linux-x86_64/ -R
配置
elasticserach
可参见ElasticSearch 环境搭建
logstash
cd /usr/local/logstash-6.6.2 #es用户
vim default.conf #创建default.conf文件并添加内容：
监听5044端口作为输入
《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》
【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享
input {
beats {
port => “5044”
}
}
数据过滤
filter {
grok {
match => { “message” => “%{COMBINEDAPACHELOG}” }
}
geoip { source => “clientip” }
}
输出配置为本机的9200端口，这是ElasticSerach服务的监听端口
output {
elasticsearch {
hosts => [“127.0.0.1:9200”]
}
}
kibana
cd /usr/local/kibana-6.6.2-linux-x86_64 #es用户
vim config/kibana.yml # 将server.host配置项取消注释并修改(若修改为局域网ip地址则内网访问，此处设为0位可外网访问)为server.host:“0.0.0.0”
filebeat
cd /usr/local/filebeat-6.6.2-linux-x86_64 #es用户
vim filebeat.yml #配置日志以及日志文件路径（配置如截图，且需要保证es用户具有访问该log目录的权限），如nginx日志为例
vim filebeat.yml #配置elasticsearch日志输出地址或者logstash输出地址，在这里我们将采用filebeat先收集日志到logstash中，然后由logstash再到elasticsearch中，因此注释掉默认的elasticsearch地址并取消默认注释的logstash地址（配置如截图）
启动
elasticserach
的elasticsearch地址并取消默认注释的logstash地址（配置如截图）
[外链图片转存中…(img-yzwhe52u-1637463853437)]
[外链图片转存中…(img-quhE2GYe-1637463853453)]
启动
elasticserach
ELK日志系统环境搭建，javaswing教程相关推荐
- ELK日志平台搭建（一）
ELK企业级日志分析系统 ELK是由Elasticsearch.Logstash.Kiban三个开源软件的组合.在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公 ...
- ELK日志系统搭建完整详细步骤
文章目录 一.ELK 是什么? 二.安装部署 Elasticsearch 1.下载 2.解压到指定目录 3.修改配置文件 4.新建用户并赋权 5.切换至新建的用户并启动 Elasticsearch 错 ...
- 在滴滴云 DC2 云服务器上搭建 ELK 日志采集系统
前段时间大学同学聚会,一个在读的博士同学谈到他们实验室做实验时,物理服务器需要向老师申请且组内同学都共用那些机器.由于运行一些大数据和人工智能的项目比较耗费资源,且对资源环境的隔离要求比较高,因而很多 ...
- 如何快速搭建一个简易的ELK日志分析系统
一.ELK简介 ELK就是一款非常优秀的.开源的.用于搭建实时日志分析平台的组件.ELK是Elasticsearch.Logstash和Kiabana这3款开源框架首字母的缩写.通过这三个组件,构 ...
- 十分钟搭建和使用ELK日志分析系统
十分钟搭建和使用ELK日志分析系统 为满足研发可视化查看测试环境日志的目的,准备采用EK+filebeat实现日志可视化(ElasticSearch+Kibana+Filebeat).题目为" ...
- 一步一步搭建ELK日志处理集群(自己做过测试)
下面的linux版本用的是centos 7的,用centos 6.5有可能出现问题. ELK集群搭建手册 一. 环境准备: 三台Linux服务器,ip地址分别为: 192.168.25.30 19 ...
- 搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群
笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群 笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装 ...
- ELK日志分析系统搭建以及springboot日志发送到ELK中
前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...
- ELK日志管理系统的搭建
ELK日志管理系统的搭建 环境准备 Linux安装Elasticsearch 使用的 Elasticsearch的版本是7.6.2.Elasticsearch7.x要求 Linux内核必须是4+版本以 ...
最新文章
- EZBioCloud：16S和原核基因组物种注释和新种鉴定
- 现在有T1、T2、T3三个线程，你怎样保证T2在T1执行完后执行，T3在T2执行完后执行？...
- linux下ifconfig, DNS以及route配置
- JavaScript学习笔记（十五）
- Android学习建议
- ceph-deploy install时，远端节点在执行apt-get update命令时失败
- Flink SQL Client注册Python UDF完整流程
- Visual-FoxPro常用命令word版
- TensorFlow（二）函数基础
- arthas 查看哪个方法调用最耗时_Java开源诊断工具Arthas使用方法详解
- 安装Ubuntu之后一定要安装Docky
- 关于C语言中的Bool类型变量的一点看法
- android 定时器 耗电,Android定时器
- 《深入浅出DPDK》读书笔记（十）：硬件加速与功能卸载（VLAN、IEEE1588、IP TCP/UDP/SCTP checksum、Tunnel）
- Android音乐播放器-使用FFmpeg及OpenSLES
- git安装后设置用户名和密码
- 最土团购程序一些常见的数据库操作
- 今天，是我的新生吗？
- 【IoT】产品模型：基于 ARM 的音视频采集与传输系统
- @@@Blog总目录@@@