elasticsearch的索引自动清理及自定义清理

近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本

查询索引:

curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v'

一、手动删除

rm -rf *2017-03-*

二、api删除

curl -XDELETE 'http://127.0.0.1:9200/logstash-2016-07-*'

清理掉了所有 3月份的索引文件，我发现curl 删除比rm删除要快出很多

三、脚本加api删除（推荐）

cat es-index-clear.sh

#/bin/bash

#指定日期(7天前)
DATA=`date -d "1 week ago" +%Y.%m.%d`

#当前日期
time=`date`

#删除7天前的日志
curl -XDELETE http://127.0.0.1:9200/*-${DATA}

if [ $? -eq 0 ];then
echo $time"-->del $DATA log success.." >> /tmp/es-index-clear.log
else
echo $time"-->del $DATA log fail.." >> /tmp/es-index-clear.log
fi

四、添加到任务计划

crontab -e
10 1 * * * sh /tmp/es-index-clear.sh > /dev/null 2>&1

转自：http://www.iyunv.com/thread-259586-1-1.html

转载于:https://www.cnblogs.com/vijayfly/p/6763127.html

elasticsearch的索引自动清理及自定义清理相关推荐

elasticsearch服务器定时自动清理日志索引
突然想到项目中每天要生产各个环境的索引...时间一长会越来越多. 这里写一个定时自动清理elasticsearch的脚本首先.我们进入到elasticsearch的索引目录中去发现索引数据是真 ...
Python读取多个excel文件（删除字段、数据格式转换、dataframe多表合并）并写入ElasticSearch实战（自动创建索引、写入ElasticSearch、探索性数据分析）
Python读取多个excel文件(删除字段.数据格式转换.dataframe多表合并)并写入ElasticSearch实战(自动创建索引.写入ElasticSearch.探索性数据分析) 目录
es为mysql创建索引_ES（ElasticSearch）索引创建
环境:ES 6.2.2 os:Centos 7 kibana:6.2.2 介绍索引是ElasticSearch存放数据的地方,可以理解为关系型数据库中的一个数据库.事实上,我们的数据被存储和索引在 ...
SpringCloud（9）— Elasticsearch聚合和自动补全
SpringCloud(9)- Elasticsearch聚合和自动补全一数据聚合 1.聚合的分类聚合(aggregations)可以实现对文档数据的统计,分析,运算.常见的聚合有三种: 1.桶 ...
elasticsearch 建立索引、增删改查及简单查询和组合查询的学习笔记
创建一个索引(数据库) PUT lagou # 索引名称 {"settings": {"index":{"number_of_shards" ...
Elasticsearch安装及自动同步mysql数据库数据
2019独角兽企业重金招聘Python工程师标准>>> Elasticsearch安装及自动同步mysql数据库数据 1 环境: CentOS 6.4 x64 ...
Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
之前的博文和视频都讲过 ILM 索引生命周期管理.但从近期的反馈和我自己的实战经验看,依然会有很多坑. 现将我自己和大家遇到的常见坑汇集如下,希望能让后来小伙伴少走弯路. 少啰嗦,直接上干货. 坑1: ...
Elasticsearch配置拼音分词和自定义分词器
下载elasticsearch-analysis-pinyin拼音分词器 https://codeload.github.com/medcl/elasticsearch-analysis-pinyi ...
windows服务器清临时文件,自动执行磁盘清理工具 - Windows Server | Microsoft Docs
自动执行磁盘清理工具Windows 09/08/2020 本文内容本文介绍如何使用命令行开关 (cleanmgr.exe) 磁盘清理工具. cleanmgr.exe 用于清除计算机硬盘中不必要的文件 ...

elasticsearch的索引自动清理及自定义清理

elasticsearch的索引自动清理及自定义清理相关推荐

最新文章

热门文章