1.角色定义

data_hot：热点数据节点，热点数据节点在进入es时存储时间序列数据，热层必须快速读取和写入，并且需要更多的硬件资源

data_warm；暖数据节点，存储不再定期更新但仍在查询的索引。查询两的频率通常低于索引出于热层时的频率，性能较低的硬件通常可用于此层中的节点

data_cold：冷数据节点，存储访问频率较低的只读索引，磁层使用性能较低的硬件，并且可以利用可搜索快照索引来最小化所需的资源

2.如何使用

当在某节点中添加了角色data_warm，那么该节点就被定义为warm节点

定义了角色该如何使用呢，因为本身涉及到冷热节点，所以需要结合ILM使用
1、首先在es节点配置文件elasticsearch.yml中修改节点角色，我这里分别添加三个节点的角色为data_hot,data_warm,data_cold

这里需要注意，如果你配置了data_hot角色就不要配置data角色，官方的解释是具有专用数据角色（data_hot/warm/cold）的节点不能具有通用data角色。否则的话数据流创建的时候会随机从这些节点中选择一个保存索引

但如果只添加data_hot/warm/cold等角色的话。符合ILM策略的数据流是可以创建并分配成功的。但是普通的索引就不能分配了。因此我们还要再添加一个data_content角色。

2、无需通过自定义属性来设置节点属性，直接用默认的配置就可以了，因为我们添加了data_warm角色，所以有这个角色的节点已经被申明为了warm节点。所以相比自定义属性的形式这种配置来的更加简单
这里要注意，使用kibana配置的话，如果不需要配置rollover，需要将其关闭，默认是开启的

3、ILM配置如下

PUT _ilm/policy/my_policy3
{"policy": {"phases": {"hot": {"min_age": "0ms","actions": {"set_priority": {"priority": 100}}},"warm": {"min_age": "5s","actions": {"set_priority": {"priority": 50}}},"cold": {"min_age": "8s","actions": {"set_priority": {"priority": 0}}},"delete": {"min_age": "14s","actions": {"delete": {"delete_searchable_snapshot": true}}}}}
}

4、我们来创建数据流测试一下
创建组件模版、索引模版

PUT _component_template/my-settings
{"template": {"settings": {"index.lifecycle.name": "my_policy3","number_of_shards": 1,"number_of_replicas": 0}}
}PUT _index_template/task1
{"index_patterns": ["mylogds*.*"],"composed_of": [ "my-settings"],"data_stream": { }
}

创建数据流

POST mylogds.prod/_doc
{"message": "1","@timestamp": "2021-01-01T00:00:00"
}

3.查看结果

通过指令观察分片状态

GET _cat/shards?v

1s时：索引保存在node1

6s时：索引转移到node2

9s时：索引转移到node3

15s时：索引已被删除

实验结果符合预期

4.易错点

1、配置了data_hot/data_warm/data_cold，还要再配置一个data_content，但不能配置data角色
2、kibana创建ILM时，如果不需要rollover，需要手动关闭

5.推荐阅读

【1】min_age是增量还是累计值
【2】深入理解Data Stream

Elastic：data_hot,data_warm,data_cold角色有什么用相关推荐

Elastic：集群相关知识点总结（一）数据流 Data Stream、索引生命周期 ILM、可搜索快照 searchable snapshots、跨集群搜索 CCS、跨集群复制 CCR
0.引言集群管理是ES的核心重点,因此相关的知识点至关重要,本期主要针对数据流.索引生命周期.可搜索快照.跨集群搜索.跨集群复制进行讲解 1.数据流 Data Stream 官方文档:Data st ...
干货 | Elasticsearch 8.X 节点角色划分深入详解
0.问题引出如果你的 Elasticsearch 集群是 7.9 之前的版本,在配置节点的时候,只会涉及节点类型的概念.我相信大家会对下面的概念比较熟悉: 主节点数据节点协调节点 Ingest ...
Elastic: ILM与rollover的关系
1. 总结两者本身是无关系的,是独立的两个知识点,并不存在一定要配置了其中一个,才能使用另外一个的情况. 只是说我们日常使用中,经常将两者配合起来使用.而当我们在ILM中开启了rollover后,流 ...
Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
之前的博文和视频都讲过 ILM 索引生命周期管理.但从近期的反馈和我自己的实战经验看,依然会有很多坑. 现将我自己和大家遇到的常见坑汇集如下,希望能让后来小伙伴少走弯路. 少啰嗦,直接上干货. 坑1: ...
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本) 0 安装前准备工作 0.1 安装包下载组件安装包下载地址 es elasticsearch-8 ...
ES冷热分离架构设计：一招让你的ELK日志系统节省 50% 的硬盘成本
文章目录引言 1.冷热数据分离思想 2.数据层:Data tiers 2.1 内容层:Content Tier 2.2 热数据层:Hot Tier 2.3 温数据层:Warm Tier 2.4 冷数 ...
安装ELK-Docker方式
目录 ELK介绍安装步骤 docker环境准备先启动docker服务拉取镜像启动镜像再次重新启动测试 ELK介绍 "ELK"是三个开源项目的首字母缩写,这三个项目分别是 ...
Elasticsearch 中的一些重要概念: cluster, node, index, document, shards 及 replica
当我们开始使用 Elasticsearch 时,我们必须理解其中的一些重要的概念.这些概念的理解对于以后我们使用 Elastic Stack 是非常重要的.在今天的这篇文章里,我们先来介绍一下在 El ...
Elasticsearch集群的搭建与管理
主机规划: 192.168.0.1(node1) 192.168.0.2(node2) 部署node1 node1配置如下: 下载https://artifacts.elastic.co/downlo ...
桥梁检测技术_建立技术团队之间桥梁的最佳实践
桥梁检测技术 Robyn Bergeron为参与Elasticsearch,Logstash和Kibana社区的人们提供了很棒的生活. 她热衷于提高基础架构和应用程序的开发和部署的便利性,因此不懈地倡 ...

Elastic：data_hot,data_warm,data_cold角色有什么用