定时清理elasticsearch索引和数据

业务中由于索引是按照时间自动创建的，所以需要定时任务来清理这些索引和数据

#!/bin/bashclean_log="/data/elk/tools/es_index.log"
pre_deltime=5
live_deltime=30#不同环境索引关键字不一样
pre_indexs=`curl --user test:test123  -s "10.0.0.1:9200/_cat/indices?v" |awk '{print $3}' |grep "pre"`
live_indexs=`curl --user test:test123  -s "10.0.0.1:9200/_cat/indices?v" |awk '{print $3}' |grep "live"`function delete_index(){seconds=$(date -d  "$(date  +%F) -$1 days" +%s)#for index in `echo $2`;do index=$2index_date=`echo ${index} |awk -F'-' '{print $NF}' |sed 's/\./-/g'`index_seconds=`date -d ${index_date} +%s` if [ $(( $seconds- $index_seconds )) -gt 0 ];thenecho "---------clean time is $(date +%Y-%m-%d_%H:%M:%S) ---------" >>${clean_log}echo "${index}" >>${clean_log}del_result=`curl --user test:test@123 -s  -XDELETE "10.0.0.1:9200/${index}"`echo "clean time is `date`" >>${clean_log}echo "delelte result is ${del_result}" >>${clean_log}fi#done
}#delete_index ${pre_deltime} "k8s_pre"
for index in `echo ${pre_indexs}`; dodelete_index ${pre_deltime} ${index}
done
#delete_index ${live_deltime} ${live_indexs}
for index in `echo ${live_indexs}`; dodelete_index ${live_deltime} ${index}
done

#查询索引
curl --user test:test123 -s “10.0.0.1:9200/_cat/indices?v” |awk ‘{print $3}’
#删除数据，保留索引结构
curl --user test:test123 -s -XDELETE “10.0.0.1:9200/“pre-2022.05.07”?pretty”
#删除索引和数据
curl --user test:test123 -s -XDELETE "10.0.0.1:9200/pre-2022.05.07

定时清理elasticsearch索引和数据相关推荐

Elasticsearch索引的数据存储路径是如何确定的
Elasticsearch中,在node的配置中可以指定path.data用来作为节点数据的存储目录,而且我们可以指定多个值来作为数据存储的路径,那么Elasticsearch是如何判断应该存储到哪个 ...
python - 定时清理ES 索引
只保留三天 #!/usr/bin/env python3 # -*- coding:utf-8 -*- import os import datetime# 时间转化为字符串 now_time = d ...
elasticsearch定时删除过期索引index
elasticsearch定时清理过期索引index 一.定时函数二.获取过期时间三.获取esClient 四.获取全部索引五.判定索引是否过期六.删除过期索引七.demo代码一.定时函数 ...
ElasticSearch 定时删除指定天数的数据实践
网上对于定时删除 ElasticSearch 索引数据有相当多的文章,有一些是借助 Curator 工具实现,有一些通过 ElasticSearch 的 delete_by_query 语句实现. 事 ...
elasticsearch服务器定时自动清理日志索引
突然想到项目中每天要生产各个环境的索引...时间一长会越来越多. 这里写一个定时自动清理elasticsearch的脚本首先.我们进入到elasticsearch的索引目录中去发现索引数据是真 ...
Elasticsearch索引定时清理
问题近期,kibana页面上出现Elasticsearch plugin is red错误信息,重启elasticsearch后又频繁出现该问题,观察elasticsearch发现各节点之间出现连接 ...
Elasticsearch索引备份与清理
一.背景 1.我们ES节点个数有限,而环境中日志量又非常庞大,久而久之ES的性能便会下降,所以要对以前的索引做定时清理. 2.ES副本提供了高可靠性,它们让你可以容忍零星的节点丢失而不会中断服务.但是 ...
kibana 查看有多少索引库_干货 | Elasticsearch、Kibana数据导出实战
1.问题引出以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据? 问题2:elasticsearch数据导出就像数据库数据导出一样,elasticsearch可以么 ...
kibana快照存储库实现定时备份elasticsearch集群索引
利用kibana的快照存储库备份es索引文章目录利用kibana的快照存储库备份es索引 1.快照存储库备份es索引 2.部署nfs存储并在es节点进行挂载 2.1.部署nfs存储 2.2.配置e ...
python将ElasticSearch索引数据读入pandas dataframe实战
python将ElasticSearch索引数据读入pandas dataframe实战 # 导入基础包和库 import pandas as pdpd.set_option('display.max ...

定时清理elasticsearch索引和数据

定时清理elasticsearch索引和数据相关推荐

最新文章

热门文章