kibana创建索引_ELK 索引生命周期管理
前言
之前搭建的 ELK 集群经过几天的日志收集,索引数逐渐增多,服务器的各项内存、cpu、IO 指标开始上涨起来,要解决这个问题,在权衡性能与用户使用,应该做好索引的生命周期管理。
kibana 索引配置
1. 管理索引
点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引
配置 kibana 的索引匹配
配置索引生命周期
点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期
配置索引策略文档地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.1/index-lifecycle-management.html 配置索引的生命周期,折腾了我好几天,这里要仔细记录下:
首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置 需要说明的是并不是每个阶段都是必要配置,这里我的配置参考如下图,
hot 阶段
warm阶段 这里设置的是创建索引 3 天后转移到这一阶段,同时还配置强制合并为 3 个 segments
cold阶段,这里设置的是创建索引 7 天后转移到这一阶段,同时冻结这一索引
delete阶段,这里设置的是创建索引 15 天后转移到这一阶段,同时删除这一索引
配置好生命周期策略后,我们需要创建一个模板,将我们现在的输入 index 接管过来,然后将策略应用于这个模板,这就达到了,每次创建的 index 都能应用于这一策略 其实最方便的就是将你创建的索引都以 logstash-* 开头,默认就包含一个名为 logstash 的模板,如果你不想以 logstash-* 开头创建索引,你可以先创建个模板参考如下:
PUT
以上的模板接管了 prod-* stage-* dev-* 开头的 index,然后将策略应用于这些 index
现在我们就可以在 index management 里查看索引当前的生命周期状态
点击免费领取:2020持续更新Linux学习教程视频实战进阶提升(学习路线+课程大纲+视频教程+面试题+学习工具+大厂实战手册)
总结
虽然按照这个流程下来,能达到我们的预期效果。但其中还有很多的东西是需要更多的时间去理解的。比如:shard、segments、这些该怎么分配,怎么去优化。
kibana创建索引_ELK 索引生命周期管理相关推荐
- 37.索引生命周期管理—kibana 索引配置
37.1 背景 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化 如通过spark streaming读取Kafka中的日志实时写入es,这些日志高峰期每天10亿+,每 ...
- Elasticsearch索引生命周期管理方案
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 一.前言 在 Elasticsearch 的日常中,有很多 ...
- Elasticsearch7.X ILM索引生命周期管理(冷热分离)
一."索引生命周期管理"概述 Elasticsearch索引生命周期管理指:Elasticsearch从设置.创建.打开.关闭.删除的全生命周期过程的管理. 二.为什么要使用&qu ...
- 【Elasticsearch】Elasticsearch 索引生命周期管理
文章目录 1.概述 1.1 为什么要对elasticsearch进行生命周期管理? 1.2 什么是索引周期管理 1.3 各个阶段允许的action 1.3 如何对elasticsearch进行生命周期 ...
- ES索引生命周期管理ILM
前言 在使用ES的过程中,你是否遇到过这样的问题: 1.单个索引数据量持续增长,导致查询速度降低,运维困难 2.希望能根据时间周期自动生成新的索引,比如天.周.月自动生成新的索引 3.希望能定期自动删 ...
- 干货 | Elasticsearch 索引生命周期管理 ILM 实战指南
1.什么是索引生命周期? 关于人生,有人这么说:"人,生来一个人,死去一个人,所以,人生就是一个人生老病死的简称." 在基于日志.指标.实时时间序列的大型系统中,集群的索引也具备类 ...
- Elastic:Data tiers 介绍及索引生命周期管理 - 7.10 之后版本
Data tier 也就是数据层.是一个在 7.10 版本的一个新概念.数据层是具有相同数据角色的节点的集合,这些节点通常共享相同的硬件配置文件: Content tier (内容层)节点处理诸如产品 ...
- 索引生命周期管理ILM看完不懂你锤我
阅读完本文你可以学到什么是索引生命周期管理,各个阶段可以做的操作以及如何使用索引模版使用索引生命周期策略,下面就跟我一起来吧 基础理论篇 索引生命周期管理(ILM)是一种可以让我们随着时间推移自动化的 ...
- Elasticsearch 索引生命周期管理方案
Elasticsearch索引生命周期管理方案 文章目录 Elasticsearch索引生命周期管理方案 1.生命周期 1.1 阶段介绍 2.模拟过程(基础) 2.1 创建索引生命周期策略 2.2 创 ...
最新文章
- 梯度提升树(GBDT)原理小结
- Web- HTML网页颜色大全
- HDU5620 KK's Steel(C语言版)【废除!!!】
- I,P,B帧和PTS,DTS的关系,GOP相关
- 张鹏程:7月24日阿里云上海峰会弹性计算大神
- jQuery入门教程
- Classical Maths Books Intro
- 自制麦克纳姆轮遥控小车
- iOS 13 SceneDelegate适配
- 服务器的日常维护需要做什么?
- Android DRM
- Pro 了,更强了 — 米家台灯 Pro 评测
- 面试系列——爱奇艺Andromeda 跨进程通信组件分析
- spring boot校园二手销售网站 毕业设计源码161417
- 生活污水处理设备让污水无处躲藏
- 【iOS-UIImagePickerController访问相机和相册】
- 计算机写给未来自己的一段话,现实,致自己 写给自己的霸气一段话汇总73句
- Java Mail(发邮件)
- 如何修改Android的ro属性
- 利用手机号登录获取手机验证码