一,ELK简介

ELK是三个开源软件的缩写,分别为:Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats,它是一个轻量级的日志收集处理工具(Agent),Beats占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具,目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack,Elastic Stack包含:
Elasticsearch:是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。(存储,查询)详细可参考Elasticsearch权威指南

Logstash :主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。(日志收集,过滤,筛选)
Kibana: 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。(提供界面查询日志)

每个工具的核心作用,上面用红色的字体标识出来了。

二,为什么使用ELK

上面看了ELK的简介,有发现ELK的作用吗?我们为什么要使用ELK了?其实最主要的作用就是为了快速方便根据日志来查询需要数据,定位和分析问题。

假如一个公司有多个系统,比如,10个,20个,100个...........,然后用户反馈出现了问题,你如何去定位问题了。如果只有几个系统,你又有权限,完全可以到生产服务器去看日志,然后定位问题,但是也存在一个问题日志文件那么多,你如何从中找到你需求的信息,这是第一个问题。

还是上面的假如,说少一点,如果有几十上百个系统,可能系统还存在分布式部署,集群部署,那么你又该如何找到对应的机器,拿到你所需要的日志。如果从众多系统众多机器中拿到所需要的日志,这是第二个问题

大部分注重安全的公司,生产服务器的日志不是谁都能拿的,需要一定的权限,或者找相关的人才能拿到,每次如果出问题了,你到处找人拿日志,然后一个系统一个系统去定位,一台机器一台机器拿日志,我想你不嫌麻烦,给你拿日志的人也被你烦死了。传统查看日志定位问题的效率低,费力,这就是第三个问题。

在用户少,数据量少的时候,我们可能都是把系统的日志打印在服务器本地,出问题了,就像上面一样去服务器拿日志然后定位问题,如果系统存在集群的情况,定位问题又变麻烦些了。所以有没有办法把不同机器,不同系统的日志都统一收集起来,然后通过一个地方去查询呢?这样的话,如果出了问题,不需要到机器拿日志查看,直接在那个地方查询某个系统的日志就行了,提升了效率,节约了成本。

ELK就是一种解决上面三个问题的一种方式。使用logstash(felibeat)客户端收集日志,然后汇总到logstash进行筛选,过滤,然后写入Elasticsearch中,最后通过Kibana提供的界面来查询日志。

ELK的简介就介绍到这里,后面的博文会介绍ELK相关的安装,使用,各个软件相关的协助,怎么串联起来。

ELK-1-ELK简介相关推荐

  1. 1. ELK 之elasticsearch 简介、获取、安装

    简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Ap ...

  2. 【ELK】ELK安装与配置

    一.ELK体系结构 二.系统环境变量 [主机信息] IP 主机名 操作系统版本 10.10.10.102 console CentOS7.5 10.10.10.103 log1 CentOS7.510 ...

  3. 【可观测之ELK】elk+logback+redis 搭建日志平台

    日志平台背景: 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间. ...

  4. 【ELK】ELK菜鸟手记 (一) 环境配置+log4j日志记录——转自Master HaKu

    感谢Master HaKu的分享,博客园的账号忘了,文章里面有原文链接,尊重原创 ELK菜鸟手记 (一) 环境配置+log4j日志记录 - Master HaKu - 博客园 Master HaKu ...

  5. ELK入门——ELK详细介绍(ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍)

    目录 主要参考链接 一.什么是ELK(端口9200) 主要特点: 1.存储:面向文档+JSON 2.检索:倒排+乐观锁 3.分析:监控+预警+可视化 4.支持集群 二.Logstash(端口5044) ...

  6. 【ELK】ELK集群搭建(ElasticSearch Logstash Kinaba)

    1. Logstash 1.1 安装 注:安装在需要收集日志的机器上. cd /data/softs sudo wget https://download.elastic.co/logstash/lo ...

  7. .NET下日志系统的搭建——log4net+kafka+elk

    .NET下日志系统的搭建--log4net+kafka+elk 前言 我们公司的程序日志之前都是采用log4net记录文件日志的方式(有关log4net的简单使用可以看我另一篇博客),但是随着后来我们 ...

  8. ELK收集日志到mysql数据库

    场景需求 在使用ELK对日志进行收集的时候,如果需要对数据进行存档,可以考虑使用数据库的方式.为了便于查询,可以同时写一份数据到Elasticsearch 中. 环境准备 CentOS7系统: 192 ...

  9. Docker ElK安装部署使用教程

    Docker ElK安装部署使用教程 原文:Docker ElK安装部署使用教程 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elast ...

  10. ELK日志分析平台.1-搭建

    ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介 1.核心组成     ELK由Elasticsearch.Logstash和Kibana三部分组件组成:     Elas ...

最新文章

  1. 想详细了解风头正劲的联邦学习吗?这篇最强综述论文满足你
  2. java bean spring_Java+Spring+Bean+注入方式
  3. insert数据时,获取插入数据的id
  4. poj2586(贪心盈亏问题)
  5. 密码学基础(1)-前言
  6. python中2个字典比较
  7. mysql支持arm64架构吗_arm64(aarch64)下使用mysql
  8. 基于IdentityServer的系统对接微信公众号
  9. 基于JAVA+SpringBoot+Mybatis+MYSQL的在线点餐系统
  10. 合肥赛区结束,继续训练提升
  11. 土地调查图斑编号_全国第二次土地调查地类分类图示及图斑.doc
  12. 基于开源WordPress的高校数字图书馆应用构建
  13. layui表格合并的方法
  14. 从《哪吒之魔童降世》票房火爆,看国产动画产业市场化三十年
  15. DoNotRetryIOException: Compression algorithm 'lzo' previously failed test
  16. java中laber字体颜色设置,重写jxl中可用的颜色实现自定义颜色
  17. java mifare_java – 使用SCL010获取Mifare Ultralight的UID
  18. python中的标准输入设备_从MIDI设备获取输入(Python)
  19. VUE搭建云音乐播放器(App版本)
  20. 中微SC8F5771模拟IIC通信——指令运行速度的探索(附编译软件与烧录软件)

热门文章

  1. 13.Android学习之传感器与定位服务(一)
  2. vim删除奇数行_Vim 对特定行处理常用方法(三):奇偶行分离(及寄存器入门)...
  3. 看完这些求职笑话,我在办公室憋笑到哭!
  4. 日本最大社交网站Mixi宣布进军中国网络市场
  5. 【小组会整理】服装搭配论文ICMM2017i-Stylist: Finding the Right Dress Through Your Social Networks
  6. (2021红亚杯开放竞赛)hadoop,zookeeper,hive搭建要点截图
  7. .NET中类型的转换
  8. Linux下多线程编程实例解析
  9. java BigDecimal类型 比较大小
  10. 电脑Windows7系统上的appdata是什么文件夹