2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!
新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。
目录
系列历史文章
一、简介
二、ELK 协议栈介绍及体系结构
三、集中式日志协议栈组件功能简介
系列历史文章
2021年大数据ELK(六):安装Elasticsearch
2021年大数据ELK(五):Elasticsearch中的核心概念
2021年大数据ELK(四):Lucene的美文搜索案例
2021年大数据ELK(三):Lucene全文检索库介绍
2021年大数据ELK(二): Elasticsearch简单介绍
2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介
一、简介
日常工作中会面临很多问题,处理问题时候。怎么解决问题?
- 通过工作经验,迅速判断问题出在哪。
- 通过日志
- 系统日志:/var/log 目录下的问题的文件
- 程序日志: 代码日志(项目代码输出的日志)
- 服务应用日志
nginx、HAproxy、lvs
tomcat、php-fpm
redis、mysql、mongo
RabbitMq、kafka
Glusterfs、HDFS、NFS
等等
通过日志排除,发现问题根源解决问题
如果1台或者几台服务器,我们可以通过 linux命令,tail、cat,通过grep、awk等
过滤去查询定位日志查问题
但是如果几十台、甚至几百台。通过这种方式肯定不现实。
怎么办?
一些聪明人就提出了建立一套集中式的方法,把不同来源的数据集中整合到一个地方。
一个完整的集中式日志系统,是离不开以下几个主要特点的。
- 收集-能够采集多种来源的日志数据
- 传输-能够稳定的把日志数据传输到中央系统
- 存储-如何存储日志数据
- 分析-可以支持 UI 分析
- 警告-能够提供错误报告,监控机制
二、ELK 协议栈介绍及体系结构
ELK
其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch
,Logstash
和 Kibana
。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为ELK
协议栈。
三、集中式日志协议栈组件功能简介
- ElasticSearch : 主要是用于做全文检索功能、数据的存储和数据的查询
- Logstash: 主要是用于进行数据的传递采集工作,将数据从一个地方 搬运到另一个地方去
- Kibana : 主要是用于 图标报表展示 以及 数据探索
- Beats : 主要是用于进行数据的写入工作
-
2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介相关推荐
- 2021年大数据ELK(八):Elasticsearch安装IK分词器插件
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 安装IK分词器 一.下载Elasticsearch IK分词器 ...
- 2021年大数据ELK(六):安装Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 安装Elasticsearch 一.创建普通用户 二.为普通用户 ...
- 2021年大数据ELK(五):Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Elasticsearch中的核心概念 一.索引 index 二 ...
- 2021年大数据ELK(四):Lucene的美文搜索案例
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 美文搜索案例 一.需求 二.准备工作 1.创建IDEA项目 2. ...
- 2021年大数据ELK(三):Lucene全文检索库介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 一.什么是全文检索 1.结构化数据与非结构化数据 2.搜索结构化 ...
- 2021年大数据ELK(二):Elasticsearch简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 一.Elasticsearch简介 1.介绍 2.创始人 二.E ...
- 2021年大数据ELK(二十四):安装Kibana
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 安装Kibana 在Linux下安装Kibana,可以使用Elastic stack ...
- 2021年大数据ELK(十五):Elasticsearch SQL简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch SQL简单介绍 一.SQL与Elasticsear ...
- 2021年大数据ELK(十一):Elasticsearch架构原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch架构原理 一.Elasticsearch的节点类型 ...
最新文章
- Paths on a Grid
- Python脚本--微信公众号自定义菜单的创建及获取
- JS 基础 —— JavaScript 关键字(keyword)与保留字
- java list 面试题_java【集合】面试题
- 李春雷 | 夜宿棚花村
- pycharm Debug问题
- PHP中一些有用的函数
- 安卓能硬改的手机机型_【每日新闻】小米11部分镜头参数爆料;华为重新采购手机零部件 重启4G手机生产...
- BugkuCTF-MISC题linux与linux2
- 计算机组成原理强制类型转换规则,计算机组成原理——浮点数加减运算强制类型转换...
- 计算机技术工种技师,技师10个职业(工种)国家职业标准要求申报条件
- 干货!电商小白入门电商运营必看
- 计算机毕业设计——简单的网页设计
- 国际反垃圾邮件组织有哪些?
- springboot2+shiro 重写filter接口来调用自定义ream的登录校验方式
- GBase 8a 集群维护工具C3介绍
- 基于JAVA校园共享单车系统计算机毕业设计源码+系统+mysql数据库+lw文档+部署
- [论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师
- ubuntu18.04桌面卡住鼠标可以动 键盘失效
- 那些有趣又实用的开源人工智能项目 Top 10
热门文章
- 2022-2028年中国石化行业节能减排投资分析及前景预测报告
- 【VB】学生信息管理系统6——错误调试
- SpringCloud Alibaba微服务实战(三) - Nacos服务创建消费者(Feign)
- Plotly_绘图画图作图交互
- 矩阵拼接 cat padding_pytorch
- 详解Spring中Bean的自动装配~
- Harmony生命周期
- View的Touch事件分发(二.源码分析)
- 在Lumen中引入钉钉SDK
- Android 自定义View (入门 篇) 的使用
- 2021年大数据ELK(八):Elasticsearch安装IK分词器插件