注意：文章中所有数据都在单节点下、如果是多节点、可以单独设置冷热数据；参考其他文章；

1、设置索引生命周期管理间隔（1s、默认是1小时，主要为了测试进行修改）

PUT _cluster/settings
{"persistent": {"indices.lifecycle.poll_interval": "1s"}
}

2、设置生命周期

一共四个阶段：hot、warm、cold、delete

PUT _ilm/policy/my_custom_policy_filter
{"policy": {"phases": {"hot": {"actions": {"set_priority": {"priority": 100},"rollover": {"max_age": "3d","max_docs": 5,"max_size": "5gb"}}},"warm": {"min_age": "15s","actions": {"set_priority": {"priority": 50},"allocate": {"number_of_replicas": 1,"include": {"_name": "","_ip": ""},"exclude": {"_name": "","_ip": ""},"require": {"_name": "","_ip": ""}},"shrink": {"number_of_shards": 1},"forcemerge": {"max_num_segments": 1}}},"cold": {"min_age": "30s","actions": {"set_priority": {"priority": 0},"freeze": {},"allocate": {"number_of_replicas": 1,"include": {"_name": "","_ip": ""},"exclude": {"_name": "","_ip": ""},"require": {"_name": "","_ip": ""}}}},"delete": {"min_age": "45s","actions": {"delete": {}}}}}
}

3、创建模版、关联配置的ilm_policy

PUT _index_template/timeseries_template
{"index_patterns": ["timeseries-*"],"template":{"settings": {"number_of_replicas": 0,"number_of_shards": 1,"index.lifecycle.name": "my_custom_policy_filter","index.lifecycle.rollover_alias": "timeseries"}}
}

4、创建起始索引

PUT timeseries-000001
{"aliases": {"timeseries": {"is_write_index": true}}
}

5、插入数据

PUT timeseries/_bulk
{"index": {"_id": 1}}
{"title": "testting 01"}
{"index": {"_id": 2}}
{"title": "testting 02"}
{"index": {"_id": 3}}
{"title": "testting 03"}
{"index": {"_id": 4}}
{"title": "testting 04"}

5.1 生成新的索引

GET timeseries-000002/_search

6、临界值（插入第5条数据）会滚动

PUT timeseries/_bulk
{"index": {"_id": 5}}
{"title": "testting 05"}

6-1生成滚动索引

GET timeseries-000002/_search

7、在插入一条数据（写入到timeseries-000002 索引中）

PUT timeseries/_bulk
{"index": {"_id": 6}}
{"title": "testting 06"}

GET timeseries/_search

ES ILM 生命周期管理相关推荐

ES索引生命周期管理ILM
前言在使用ES的过程中,你是否遇到过这样的问题: 1.单个索引数据量持续增长,导致查询速度降低,运维困难 2.希望能根据时间周期自动生成新的索引,比如天.周.月自动生成新的索引 3.希望能定期自动删 ...
Elasticsearch7.X ILM索引生命周期管理（冷热分离）
一."索引生命周期管理"概述 Elasticsearch索引生命周期管理指:Elasticsearch从设置.创建.打开.关闭.删除的全生命周期过程的管理. 二.为什么要使用&qu ...
ES--索引生命周期管理
1,为什么要对elasticsearch进行生命周期管理? ES索引存活数量过多,会给ES集群带来较大压力,不仅严重影响数据录入和数据查询效率,而且导致磁盘.CPU占用比过高,加大节点"驾崩 ...
数据生命周期管理（Lifecycle Management）
概述: oracle的生命周期管理叫做Information Lifecycle Management(ILM) SQL server的生命周期管理叫做Database Lifecycle Manag ...
37.索引生命周期管理—kibana 索引配置
37.1 背景引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化如通过spark streaming读取Kafka中的日志实时写入es,这些日志高峰期每天10亿+,每 ...
ES系列-- ILM索引生命周期管理
前言官方文档地址7.8版本正文 ILM定义了四个生命周期阶段: Hot:正在积极地更新和查询索引. Warm:不再更新索引,但仍在查询. cold:不再更新索引,很少查询.信息仍然需要可搜索,但是 ...
ES生命周期管理配置ilm策略
ES声明周期通常分为四个阶段,hot阶段:索引有大量的写入和读取:warm阶段:索引没有写入,有大量的读取:code阶段:索引没有写入,有少量读取:delete阶段:删除索引或者关闭索引. 可以使用i ...
ElasticSearch索引生命周期管理(ILM)
注: 部分概念介绍来源于网络 6.6 版本的发布,Index Lifecycle Management(索引生命周期管理,后文简称 ILM ): ILM 可以将索引生命周期分为四个阶段(Phase)( ...
索引生命周期管理ILM看完不懂你锤我
阅读完本文你可以学到什么是索引生命周期管理,各个阶段可以做的操作以及如何使用索引模版使用索引生命周期策略,下面就跟我一起来吧基础理论篇索引生命周期管理(ILM)是一种可以让我们随着时间推移自动化的 ...

ES ILM 生命周期管理

1、设置索引生命周期管理间隔（1s、默认是1小时，主要为了测试进行修改）

2、设置生命周期

3、创建模版、关联配置的ilm_policy

4、创建起始索引

5、插入数据

5.1 生成新的索引

6、临界值（插入第5条数据）会滚动

6-1生成滚动索引

7、在插入一条数据（写入到timeseries-000002 索引中）

ES ILM 生命周期管理相关推荐

最新文章

热门文章

ES ILM 生命周期管理

1、设置索引生命周期管理间隔（1s、默认是1小时，主要为了测试进行修改）

2、设置生命周期

3、创建模版、关联配置的ilm_policy

4、创建起始索引

5、插入数据

5.1 生成新的索引

6、临界值 （插入第5条数据）会滚动

6-1生成滚动索引

7、在插入一条数据（写入到timeseries-000002 索引中）

ES ILM 生命周期管理相关推荐

最新文章

热门文章

6、临界值（插入第5条数据）会滚动