elasticsearch 怎么删除过期的数据

使用elasticsearch收集日志进行处理，时间久了，很老的数据就没用了或者用途不是很大，这个时候就要对过期数据进行清理.但是es5.0之后就不支持ttl,那怎么办呢?

1,请使用官方的工具elasticsearch-curator

2,使用delete-by-query方法删除特定时间范围的数据

第一种这里不再介绍了,直接看官网吧,主要说下第二种

语法格式如下:

POST twitter/_delete_by_query
{"query": { "match": {"message": "some message"}}
}

比如我们要根据时间戳字段删除2019-06-07的数据:

http://serverhost:9200/index/type/_delete_by_query   post
{"query": {"match": {"@timestamp": "2019-06-07"}
}

返回的结果是:

{"took" : 147,"timed_out": false,"deleted": 119,"batches": 1,"version_conflicts": 0,"noops": 0,"retries": {"bulk": 0,"search": 0},"throttled_millis": 0,"requests_per_second": -1.0,"throttled_until_millis": 0,"total": 119,"failures" : [ ]
}

当然也可以按照范围删除,用法如下:

POST twitter/_delete_by_query?routing=1
{"query": {"range" : {"age" : {"gte" : 10}}}
}

上面的是删除age>10的数据.

默认情况下delete-by-query会一次查询1000条数据,你可以通过下面设置改变这个大小:

POST twitter/_delete_by_query?scroll_size=5000
{"query": {"term": {"user": "kimchy"}}
}

如果有写的不对的地方欢迎大家指正如果有什么疑问可以加下面的技术交流群

elasticsearch 怎么删除过期的数据相关推荐

elasticsearch定时删除过期索引index
elasticsearch定时清理过期索引index 一.定时函数二.获取过期时间三.获取esClient 四.获取全部索引五.判定索引是否过期六.删除过期索引七.demo代码一.定时函数 ...
MongoDB 自动删除集合中过期的数据——TTL索引
简介 TTL (Time To Live, 有生命周期的) 索引是特殊单字段索引,MongoDB可以用来在一定时间后自动从集合中删除文档的特殊索引. 这对于某些类型的数据非常好,例如机器生成的事件 ...
Redis的过期键删除策略和数据逐出策略
Redis作为一个高性能的内存NoSQL数据库,其容量受到最大内存限制的限制. 在实际生产环境中使用Redis时,偶然会觉得Redis的内存占用要比自己预想的大.事实上,Redis占用的内存除了保存键 ...
mongodb固定集合(Capped Collections) | MongoDB 自动删除集合中过期的数据——TTL索引
文章目录 mongodb固定集合(Capped Collections) 一.什么是mongodb固定集合(Capped Collections) 二.Capped Collections使用场景三 ...
redis删除过期key的算法_面试官别再问我Redis内存满了该怎么办了
概述 Redis的文章,我之前写过一篇关于「Redis的缓存的三大问题」,累计阅读也快800了,对于还只有3k左右的粉丝量,能够达到这个阅读量,已经是比较难了. 这说明那篇文章写的还过得去,收到很多人 ...
elasticsearch scroll 一页最大数据量_elasticsearch 百亿级数据检索案例与原理
一.前言数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop ...
elasticsearch通过logstash同步mysql数据（中文分词）
Elasticsearch 目录概述索引(Index) 类型(Type) 文档(Document) 倒排索引(Inverted Index) 节点(Node) 安装启动 DSL(查询语句) 官方 ...
ELK整合：ElasticSearch定期删除过期数据
ELK 由三部分组成elasticsearch.logstash.kibana,elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能. Logstash:日志收 ...
如何删除kafka主题数据
本文我们探讨几种关于如何删除kafka主题数据的策略. 场景分析在进入主题之前,先讨论下需要删除kafka主题数据的应用场景. 场景介绍 kafka消息在过了保留周期之后会被自动清除.但总有一些情况 ...

elasticsearch 怎么删除过期的数据

如果有写的不对的地方欢迎大家指正如果有什么疑问可以加下面的技术交流群

elasticsearch 怎么删除过期的数据相关推荐

最新文章

热门文章

elasticsearch 怎么删除过期的数据

如果有写的不对的地方 欢迎大家指正 如果有什么疑问 可以加下面的技术交流群

elasticsearch 怎么删除过期的数据相关推荐

最新文章

热门文章

如果有写的不对的地方欢迎大家指正如果有什么疑问可以加下面的技术交流群