喜闻乐见ELK(日志管理分析系统)

@[TOC]

# 1. 简介

ELK（日志管理分析系统），一款能将系统的日志进行分析处理，并且展示到界面上面。集各种强大功能于一身。妈妈再也不用担心我为查日志感到烦恼了。 ELK核心的组件是由elasticsearch、kibana、logstash组成且不仅限于该三个组件。最舒服的就是，该三个组件开源，且封装ok，只需要开箱即用。好了，废话不多说，我们开始正片。

第一次写博客哈。有些不对的地方大家多多指出，希望能不吝赐教了哈。

# 2. 需要的材料以及环境

java8及以上版本（因为logstash最低版本要求为java8）

win10/centos7系统（以下配置基于win10）

elasticsearch、kibana、logstash（记住，这三个组件下载的时候版本保持一致）

elasticsearch-head（一款浏览器插件，可以不使用，如果不使用可以忽略以下材料）

nodejs

# 3. 安装以及配置

当我们下载好以上三个组件过后，首先解压我们的三个压缩包

第一步，配置我们的elasticsearch，进入elasticsearch-7.9.3\config用自己喜爱的文本编辑器打开elasticsearch.yml文件

node.name: node-1

network.host: 本机ip

http.port: 9200

cluster.initial_master_nodes: ["node-1"] #node-1

--------------------------------------------------------以下配置主要解决后面logstash的跨域问题----------------------------------------------

http.cors.enabled: true
http.cors.allow-origin: /.*/
http.cors.allow-methods: "OPTIONS, HEAD, GET, POST, PUT, DELETE"
http.cors.allow-headers: "Authorization, X-Requested-With, Content-Type, Content-Length, X-User"

好了，到这里我们的elasticsearch就已经配置完成，让我们运行下，看看效果。

cd D:\ELK\elasticsearch-7.9.3\bin 然后 elasticsearch.bat

或者直接进入bin目录，双击elasticsearch.bat，然后在浏览器中输入：ip:9200,出现以下信息则说明已经es配置成功

第二步，配置我们的logstash，进入logstash-7.9.3\config用自己喜爱的文本编辑器创建一个新的logstash.config文件，是新的新的新的，里面的内容如下：

input {
file {
type => "nginx_access"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access.log" #需要解析的日志，换成你自己的路径
start_position => "beginning" #从文件开始处读写
}
file {
type => "nginx_access1"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access1.log" #需要解析的日志，换成你自己的路径
start_position => "beginning" #从文件开始处读写
}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:times}"]
}
date {
match => ["times", "yyyy-MM-dd HH:mm:ss,SSS"]
locale => "en"
timezone => "+00:00"
remove_field => "times"
target => "@timestamp"
}

if[type] == "nginx_access" {
mutate {
add_tag => ["nginx_access"] #设置tag
}
}

if [type] == "nginx_access1" {
mutate {
add_tag => ["nginx_access1"] #设置tag
}
}
}
output {
if "nginx_access" in [tags] { #根据上面的tag来判断输出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "access-%{+YYYY.MM.dd}" # 输出的日志名称，好像大写有问题，大家可以试试
}
}

if "nginx_access1" in [tags] { #根据上面的tag来判断输出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "logaccess1-%{+YYYY.MM.dd}" # 输出的日志名称，好像大写有问题，大家可以试试
}
}
stdout { #标准输出
codec => rubydebug{}
}
}

好了，到这里我们的logstash就已经配置完成，让我们运行下，看看效果。

cd D:\ELK\logstash-7.9.3\bin 然后 logstash.bat -f ../config/logstash.config 。或者大家可以自己把启动语句用一个bat脚本封装起来，到时候只需要执行你那个封装的脚本即可。在控制台出现以下效果，证明启动成功。切记需要java8以上的java版本。

那如果我们很多生产环境已经用的java8以下的版本该怎么办呢？用我们记事本打开logstash的bin目录下的logstash.bat，linux系统打开logstash文件，在文件顶部加上

export JAVA_CMD="/eam_app/elk/jdk1.8.0_161/bin" #改为自己服务器JDK位置
export JAVA_HOME="/eam_app/elk/jdk1.8.0_161/" #改为自己服务器JDK位置

最后让我们来修改下我们的监听的日志文件，看下logstash控制台有何变化？

敲黑板敲黑板，这里有个小坑，如果我们最后一行不留空，那么最后一行的信息是不会输入到我们的logstash里面的。为什么会这样的，留个小伙伴们一个小疑问，自己去想想。

第三步，配置我们的kibana，进入kibana-7.9.3\config用自己喜爱的文本编辑器打开kibana.yml文件,

server.port: 5601 #端口

server.host: IP地址

elasticsearch.hosts: ["http://es的ip地址:9200"]

保存，至此我们的kibana就配置完成了，是不是很简单，哦呵呵呵！！！！

赶紧运行起来，老规矩：

cd D:\ELK\kibana-7.9.3-windows-x86_64\bin 然后 kibana.bat 或者自己手动双击kibana.bat，最后在我们的浏览器中输入kibana.yml中的server.host:server.port

点击上面的进行以下操作

最后我们点击界面左上角

会出现以下界面，这是个时候我们的日志就已经展示出来了，如下图：

至此为止我们的windows环境EKL日志监控分析系统就已经搭建完成

# 4. 总结

个人觉得ELK还是比较好用的，摆脱我们去服务器拉日志查日志的苦恼，当然可能小伙伴有其他更好的方式，我这里只是列举了一个例子，希望能抛砖引玉了哈。感谢各位大大的阅读支持！！！

码字不易，如需转载请标明转处。

喜闻乐见ELK(日志管理分析系统)相关推荐

基于python的Nginx日志管理分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介本项目利用 pandas + sklearn 对 Nginx 的日志数据进行统计分析,并利用 fla ...
基于Filebeat自动收集Kubernetes日志的分析系统
基于Filebeat自动收集Kubernetes日志的分析系统摘要:Docker容器产生的日志分散在不同的相互隔离的容器中, 并且容器具有即用即销的特点, 传统的解决方式是将日志文件挂载到宿主机上, ...
大数据离线---网站日志流量分析系统（1）---简介及框架
本次介绍网站日志流量分析系统,首先是简介和架构.后面会对架构中需要的每个模块的进行逐个介绍.本篇主要分为两个部分网站日志流量分析系统简介整体技术流程和架构 1. 网站日志流量分析系统简介 1.1点 ...
mysql调试事件_mysql日志管理分析调试实例_mysql
以下的文章主要介绍的是mysql 操作日志查看的实际操作步骤以及对其实际操作步骤的具体描述,假如你在实际操作中遇到相似的情况,但是你却不知道对其如何正确的解决,那么以下的文章对你而言一定是良师益友. ...
elk 日志管理_具有ELK的APIGEE API网关日志管理（弹性搜索，Logstash和Kibana）
elk 日志管理在本文中,我们将看到如何使用 Elastic Search , Logstash 和 Kibana 管理APIGEE API网关生成的日志 . 下图突出显示了日志数据如何流经ELK堆 ...
网站日志流量分析系统之（日志收集）
一.概述网站日志流量分析系统之(日志埋点)这里我们已经将相关数据通过ajax发送至日志服务器,这里我只用了一台日志服务器(本机Windows环境),日志收集主要分为以下几个步骤: ①日志服务器集结合 ...
大数据平台日志存储分析系统解决方案
大数据平台日志存储分析系统是在大数据平台下,针对业务系统产生的日志记录进行存储和分析.日志数据来自ElasticSearch存储的日志历史数据,并将需要存储和分析的日志数据从ElasticSearch ...
基于PHP+MySQL的学生成绩管理分析系统
PHP学生成绩管理分析系统是一个用PHP+MySQL开发的通用教务类管理系统,它的主要作用就是帮助学校的教务工作者和教师对学生的成绩进行管理,同时学生也可以在本系统内查看和自己相关的成绩信息,本系统在 ...
springboot大学生时间管理分析系统毕业设计源码130930
摘要时间是一种无形资源,但可以对其进行有效的使用与管理.时间管理倾向是个体在运用时间方式上所表现出来的心理和行为特征,具有多维度.多层次的心理结构,由时间价值感.时间监控观和时间效能感构成.时间 ...

喜闻乐见ELK(日志管理分析系统)

喜闻乐见ELK(日志管理分析系统)相关推荐

最新文章

热门文章