elasticsearch服务器定时自动清理日志索引

突然想到项目中每天要生产各个环境的索引...时间一长会越来越多.

这里写一个定时自动清理elasticsearch的脚本

首先.我们进入到elasticsearch的索引目录中去发现索引数据是真多啊...

root@iZbp1ig4nql7imcw4ssn7vZ:/home/idouall# cd /opt/elasticsearch-6.4.3/data/nodes/0/indices/
root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices# pwd
/opt/elasticsearch-6.4.3/data/nodes/0/indices
root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices# ll
total 140
drwxrwxr-x 35 idouall idouall 4096 Feb 27 16:32 ./
drwxrwxr-x  4 idouall idouall 4096 Feb 20 21:42 ../
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 335HxTLoTEyVGtNBI3QnUw/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 18:06 8vzxHNv3SOSYEmyleo6G-A/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 93mpD1vsQ2OeiZoTVHw4WA/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 15:10 9OhuYCcKRoywBY-9RcfWLg/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 ahtHtEOoQ32tKLys8-PPfQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 15:08 AmsG8zAZRv2-mxhQe6se6g/
drwxrwxr-x  8 idouall idouall 4096 Feb 25 09:15 bfhdi1FMRIOwQ1m1KtKGXA/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 09:41 ChxRHY7SQsGBqbDI3q7AEg/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 15:46 CKAnJBrdQd2A_gT4YW898g/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 dEQDNpMlRtidwIaoZbWXuQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 15:46 Dsct-CMWQK6Fd6mdRra-Yg/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 08:00 DuoIvH0sRcmwcqFPJrUWOw/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 FRHlFniRS8CprAwM-RHfqw/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 16:45 IrtW2PWqSc2s1L8OSVJh0A/
drwxrwxr-x  8 idouall idouall 4096 Feb 25 09:15 JNaCO72jSrKVWCpVUowVjA/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 17:25 JOONjvP2QSavERnM1oLIEA/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 k3E5EExhSBKf2uR97AKVVw/
drwxrwxr-x  8 idouall idouall 4096 Feb 25 09:00 K-G-bjDkRVaw_k6gTXsE0w/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 17:12 kKlZrmUPSqerTPckUfUlZw/
drwxrwxr-x  8 idouall idouall 4096 Feb 22 17:32 LBui4Vx_TEmXgxMJD7ZbeA/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 17:12 n2Y43XW8Q_KjsBlZyJG-yQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 15:46 pN94eztrSTiMM_mFHe_0ag/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 18:06 pzxyRtccRaehjmKAGH4SKA/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 16:54 rL2GRdr-TIShYkX0G5W-QQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 17:12 sCQtad6lT1ijTozuvynSEQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 08:00 uLW0N7PoTo-aKjoHbocOag/
drwxrwxr-x  4 idouall idouall 4096 Feb 20 21:42 uPF1CNvbRYmuBgXDRaHb0Q/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 10:09 Uz9OpsQ0SB6Joa2o6IdNbg/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 22:52 V-7cpx38TKempGZG9rdEJQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 vt6rw-XVReeDTqWnskD5Mw/
drwxrwxr-x  8 idouall idouall 4096 Feb 25 08:00 x0Cc53-OSQOCddvvsrwEPA/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 yCwUDpaiTA2VKVbJhJ-9tw/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 16:13 YrqZzoiTSLCXaPbVmfzetQ/
root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices#

但是都是看不懂的...我们利用curl调用elasticsearch的api进行索引的查看.

案例如下:

root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices# curl -XGET 'http://101.37.32.7:9200/_cat/indices/?v'
health status index                        uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   prodbacklog-2020.02.27       dEQDNpMlRtidwIaoZbWXuQ   5   1     219134            0    104.8mb        104.8mb
yellow open   testlog-2020.02.25           K-G-bjDkRVaw_k6gTXsE0w   5   1      20988            0     18.8mb         18.8mb
yellow open   testlog-2020.02.27           vt6rw-XVReeDTqWnskD5Mw   5   1      17668            0     19.7mb         19.7mb
yellow open   uatbacklog-2020.02.27        335HxTLoTEyVGtNBI3QnUw   5   1      27694            0      4.9mb          4.9mb
yellow open   uatlog-2020.02.26            rL2GRdr-TIShYkX0G5W-QQ   5   1        120            0    342.9kb        342.9kb
yellow open   prodlog-2020.02.27           k3E5EExhSBKf2uR97AKVVw   5   1      30147            0     36.9mb         36.9mb
yellow open   devbacklog-2020.02.24        JOONjvP2QSavERnM1oLIEA   5   1         48            0    199.9kb        199.9kb
yellow open   testbacklog-2020.02.25       x0Cc53-OSQOCddvvsrwEPA   5   1    1390581            0    108.9mb        108.9mb
green  open   .kibana                      uPF1CNvbRYmuBgXDRaHb0Q   1   0         31            1     69.8kb         69.8kb
yellow open   devlog-2020.02.25            JNaCO72jSrKVWCpVUowVjA   5   1        138            0    339.8kb        339.8kb
yellow open   taskrecordaudiobranchwords   pN94eztrSTiMM_mFHe_0ag   5   1          6            0     99.9kb         99.9kb
yellow open   devbacklog-2020.02.26        ChxRHY7SQsGBqbDI3q7AEg   5   1       1956            0      2.4mb          2.4mb
yellow open   devbacklog-2020.02.25        bfhdi1FMRIOwQ1m1KtKGXA   5   1       1184            0        2mb            2mb
yellow open   alllogback-2020.02.26        V-7cpx38TKempGZG9rdEJQ   5   1        878            0    245.9kb        245.9kb
yellow open   devlog-2020.02.24            kKlZrmUPSqerTPckUfUlZw   5   1         62            0    168.3kb        168.3kb
yellow open   testlog-2020.02.26           uLW0N7PoTo-aKjoHbocOag   5   1       9480            0        8mb            8mb
yellow open   prodlog-2020.02.26           9OhuYCcKRoywBY-9RcfWLg   5   1        536            0    833.5kb        833.5kb
yellow open   devlog-2020.02.22            LBui4Vx_TEmXgxMJD7ZbeA   5   1         53            0    245.2kb        245.2kb
yellow open   devlog-2020.02.26            Uz9OpsQ0SB6Joa2o6IdNbg   5   1        141            0      474kb          474kb
yellow open   testbacklog-2020.02.27       yCwUDpaiTA2VKVbJhJ-9tw   5   1    2120884            0    168.3mb        168.3mb
yellow open   testlog-2020.02.24           n2Y43XW8Q_KjsBlZyJG-yQ   5   1       4503            0      4.8mb          4.8mb
yellow open   devlog-2020.02.27            FRHlFniRS8CprAwM-RHfqw   5   1        194            0    327.2kb        327.2kb
yellow open   uatbacklog-2020.02.26        IrtW2PWqSc2s1L8OSVJh0A   5   1       9394            0        2mb            2mb
yellow open   taskrecordaudiotranslate     CKAnJBrdQd2A_gT4YW898g   5   1          0            0      1.2kb          1.2kb
yellow open   uatlog-2020.02.27            93mpD1vsQ2OeiZoTVHw4WA   5   1        306            0    962.3kb        962.3kb
yellow open   test                         8vzxHNv3SOSYEmyleo6G-A   5   1          0            0      1.2kb          1.2kb
yellow open   testbacklog-2020.02.26       DuoIvH0sRcmwcqFPJrUWOw   5   1     582574            0     46.5mb         46.5mb
yellow open   tasksurveyandmissingimagedto Dsct-CMWQK6Fd6mdRra-Yg   5   1         35            0    879.3kb        879.3kb
yellow open   alllogback-2020.02.27        YrqZzoiTSLCXaPbVmfzetQ   5   1    1014962            0    142.2mb        142.2mb
yellow open   province                     pzxyRtccRaehjmKAGH4SKA   5   1          0            0      1.2kb          1.2kb
yellow open   devbacklog-2020.02.27        ahtHtEOoQ32tKLys8-PPfQ   5   1       1225            0      3.3mb          3.3mb
yellow open   testbacklog-2020.02.24       sCQtad6lT1ijTozuvynSEQ   5   1     869793            0     66.2mb         66.2mb
yellow open   prodbacklog-2020.02.26       AmsG8zAZRv2-mxhQe6se6g   5   1      29892            0      5.7mb          5.7mb
root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices#

是不是清晰多了....然后我们利用删除命令进行删除一个试试. 如下证明删除成功.

root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices# curl -XDELETE 'http://101.37.32.7:9200/devlog-*'
{"acknowledged":true}

那么有了删除命令....我们写一个删除脚本利用上面的命令进行批量的模糊删除就行了.

我们在/home/idouall下面建立es-index-delete.sh脚本,

touch es-index-delete.sh

修改权限.

chmod 777 es-index-delete.sh

然后写入脚本如下:

vim es-index-delete.sh


#/bin/bash
#指定日期(7天前)
DATA=`date -d "1 week ago" +%Y.%m.%d`
#当前日期
time=`date`
#删除7天前的日志
curl -XDELETE http://101.37.32.7:9200/testlog-${DATA}curl -XDELETE http://101.37.32.7:9200/devlog-${DATA}curl -XDELETE http://101.37.32.7:9200/prodlog-${DATA}curl -XDELETE http://101.37.32.7:9200/uatlog-${DATA}curl -XDELETE http://101.37.32.7:9200/devbacklog-${DATA}curl -XDELETE http://101.37.32.7:9200/testbacklog-${DATA}curl -XDELETE http://101.37.32.7:9200/uatbacklog-${DATA}curl -XDELETE http://101.37.32.7:9200/prodbacklog-${DATA}curl -XDELETE http://101.37.32.7:9200/alllogback-${DATA}if [ $? -eq 0 ];thenecho $time"-->del $DATA log success.." >> /home/idouall/es-index-sucess-clear.log
elseecho $time"-->del $DATA log fail.." >> /home/idouall/es-index-fail-clear.log
fi

接下来我将脚本加入linux的定时任务中

执行

crontab -e
0 1 1 * * /script/es-index-delete.sh

然后执行crontab -l查看是否添加成功.

elasticsearch服务器定时自动清理日志索引相关推荐

gentos 执行sh文件_linux定时自动清理日志文件
现有一个应用系统,应用日志记录的内容很多,经常造成存储空间不够,需要手工去删除早期的日志文件来释放空间.应用的日志文件命名如下,固定前后缀加上日期和小时: 为了避免手工删除日志,考虑通过写shell脚 ...
shell命令删除昨日的日志_linux定时自动清理日志文件
现有一个应用系统,应用日志记录的内容很多,经常造成存储空间不够,需要手工去删除早期的日志文件来释放空间.应用的日志文件命名如下,固定前后缀加上日期和小时: 为了避免手工删除日志,考虑通过写shell脚 ...
zookeeper3.4.6配置实现自动清理日志【转】
在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出(默认情况下只有dataDir目录,snapshot和事务日志都保存 ...
linux系统中实现自动清理日志
1.定时调度工具crontab相关的rpm下载链接:https://pan.baidu.com/s/1GBQ0_KZ9i48CjcCi978fEQ 提取码:58e4 2.若没有crontab的需要 ...
服务器能不能设置自动重启,利用任务计划设置服务器定时自动重启的方法
windows2003服务器在长时间运行之后,系统资源就会占用率特别大,系统运行效率大大降低,此时访问服务器的普通用户也会受到影响,打开网页的反应时间会特别长.这时就需要清理某些服务,或者重启一下服务 ...
win2003服务器定时自动重启命令[计划任务]
win2003服务器定时自动重启命令,其实就是通过shutdown.exe结合计划任务来实现的. win2003可以这样自动重启: 新建一个命令行文件比如reboot.cmd 内容如下:shutdow ...
iis服务器关闭自动启动,设置IIS服务器定时自动重启的方法
最近,有一朋友的IIS服务器老是出现问题,运行一段时间下来就会出现访问服务器上的网站时提示数据库连接出错,然后重启IIS后网站又能正常访问了,实在找不出是什么原因导致了这个问题.不过最终我想到了一个笨 ...
zookeeper3.4.6配置实现自动清理日志
在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出(默认情况下只有dataDir目录,snapshot和事务日志都保存 ...
zookeeper3.4.5自动清理日志
2019独角兽企业重金招聘Python工程师标准>>> 从3.4.0开始,zookeeper提供了自动清理snapshot和事务日志的功能, 通过配置 autopurge.snapR ...

elasticsearch服务器定时自动清理日志索引

elasticsearch服务器定时自动清理日志索引相关推荐

最新文章

热门文章