十分钟搭建和使用ELK日志分析系统

为满足研发可视化查看测试环境日志的目的，准备采用EK+filebeat实现日志可视化（ElasticSearch+Kibana+Filebeat）。题目为“十分钟搭建和使用ELK日志分析系统”听起来有点唬人，其实如果单纯满足可视化要求，并且各软件都已经下载到本地，十分钟是可以搭建一个ELK系统的。本文介绍如何快速安装、配置、使用EK+FILEBEAT去实现日志搜集。本文中没有使用LOGSTASH做日志搜集过滤,但为了后期需要先进行了安装。

工作原理

ElasticSearch：是一个开源的分布式搜索引擎，其特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，Rest风格接口，多数据源，自动搜索负载等。
Logstash：是一个开源的日志收集和分析工具，能够将日志进行分析后，提供给ElasticSearch进行使用。
Kibana：可以为ElasticSearch和Logstash提供一个进行日志分析的友好Web界面，帮助汇总、分析、搜索重要日志。
Filebeat：是一个开源的文件收集器，最初是基于Logstash-forward源码的日志数据shipper，适合用于日志文件的收集。把Filebeat安装在服务器上，作为代理来监视日志目录或特定的日志文件，然后把日志数据转发到Logstash中进行分析，或者是直接转发到ElasticSearch中进行搜索。

环境信息

IP	功能	软件	安装路径	操作系统
192.168.9.11	ELK	openjdk1.8.0_171,elk6.3.2	rpm安装缺省路径	centos7.5
192.168.9.12	Filebeat	sonarqube-scanner3.2.0	rpm安装缺省路径	centos6.8

ELK下载地址：https://www.elastic.co/downloads/

搭建步骤

1.系统基础环境的准备

#修改vm限制
vi /etc/sysctl.conf
vm.max_map_count=655360!wq   保存退出
sysctl -p#修改文件和线程限制
vi /etc/security/limits.conf* hard nofile 65536* soft nofile 65536* soft nproc 2048* hard nproc 4096#修改非root用户线程限制
vi /etc/security/limits.d/20-nproc.conf   #(修改soft行，新增hard行）* soft nproc 65535

2.JDK及ELK的安装

#安装jdk
yum install java-1.8.0-openjdk -y
#进入rpm包所在路径，进行安装
cd /usr/local/src
rpm -ivh elasticsearch-6.3.2.rpm
rpm -ivh logstash-6.3.2.rpm
rpm -ivh kibana-6.3.2-x86_64.rpm

3.配置文件配置（注意以上ELK安装完后现不要重启，先进行基本配置）

#elasticsearch配置
vim /etc/elasticsearch/elasticsearch.yml
network.host: 0.0.0.0 #修改为0.0.0.0 允许外部所有主机访问#kib
vim /etc/kibana/kibana.yml
server.host: "192.168.9.11" #修改为本机IP，否则外部用户将无法访问

4.服务启动及验证

#启动 elasticsearch
service elasticsearch start#启动kibana
service kibana start

在浏览器中打开http://192.168.9.11:9200 验证elasticsearch是否启动，当看到如下信息，说明已正常启动。

打开http://192.168.9.26:5601验证已kibana启动情况，当看到如下界面说明已启动（启动后要等待10秒左右至完全启动完成）

5.filebeat的安装及配置及启动（在日志被搜集服务器上进行）

/usr/local/-ivh filebeat-.--- /usr/local/tomcat/logs/catalina.-- /usr/local/nodejs/workspace/saas_web/logs/saas-web*]#filebeat启动
service filebeat start

以上ELK+Filebeat安装完成后，就可以在Kinaba上进行配置使用了，首次使用先在“discover”处进行采集器添加，添加关键字为filebeat-*,(若是logstash则默认为logstash*)，添加完成后就可以看到搜集到的日志。如下图：

如上日志已经被搜集到elasticsearch中，并通过kibana呈现，另外还可以通过点击tags,分类查看Tomcat或node的日志，如上filebeat中已经通过tags进行了分类，至此在十分钟内日志系统已经搭建完毕。这仅仅是一个满足可视化的简单应用，若日志量大、需要权限认证、需要过滤等插件的复杂功能，就需要建立集群、增加缓冲、采用X-PACK,安装对应插件等。

可参考博客：https://www.cnblogs.com/frankdeng/p/9139035.html#4028638 和官方文档。

十分钟搭建和使用ELK日志分析系统相关推荐

ELK日志分析系统搭建以及springboot日志发送到ELK中
前言安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...
搭建ELK日志分析系统详解
日志分析是运维工程师解决系统故障.发现问题的主要手段.日志包含多种类型,包括程序日志.系统日志以及安全日志等.通过对日志的分析,既可以做到未雨绸缪.预防故障的发生,又可以在故障发生时,寻找蛛丝马迹.快 ...
如何快速搭建一个简易的ELK日志分析系统
一.ELK简介 ELK就是一款非常优秀的.开源的.用于搭建实时日志分析平台的组件.ELK是Elasticsearch.Logstash和Kiabana这3款开源框架首字母的缩写.通过这三个组件,构 ...
ELK日志分析系统（二）之ELK搭建部署
文章目录引言一.Elasticsearch 集群部署(在Node1上操作) 1.准备环境 2.部署安装Elasticsearch软件 3.配置Elasticsearch主配置文件 4.创建数据存放 ...
ELK日志分析系统之ELK搭建部署
文章目录配置ELK日志分析系统 1.配置elasticsearch环境 2.部署elasticsearch软件 2.1 安装Elasticsearch软件 2.2 加载系统服务 2.3 修改elas ...
ELK日志分析系统超详细！！理论+实操讲解！！
文章目录一.ELK日志分析系统简介 1.1日志处理的步骤 1.2 ELK日志分析系统三部分 1.3日志服务器(一般) 二.Elasticsearch介绍 2.1 Elasticsearch概述 2. ...
ELK 日志分析系统和部署
目录前言一.日志分析 1.1 我们需要收集哪些日志 1.2 日志收集后,如何展示(可视化) 1.3 日志收集展示出来后,怎么使用 1.4 我们要怎么收集日志二.ELK 日志分析系统简介 ...
运维必备——ELK日志分析系统
目录一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...
ELK日志分析系统（一）之ELK原理
文章目录引言一.ELK简介 1.ELK日志分析系统组成 1.1 Elasticsearch(es) 1.2 Logstash 1.3 Kibana 2.日志处理步骤二.Elasticsearch ...

十分钟搭建和使用ELK日志分析系统

十分钟搭建和使用ELK日志分析系统

十分钟搭建和使用ELK日志分析系统相关推荐

最新文章

热门文章