【Elasticsearch】Curator 从入门到实战
1.概述
转载:Curator 从入门到实战
Curator 是elasticsearch 官方的一个索引管理工具,可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。
2.场景
比如,出于读写性能的考虑,我们通常会把基于时间的数据按时间来创建索引。
当数据量到达一定量级时,为了节省内存或者磁盘空间,我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api,放到crontab中定期执行。这样虽然可以达到目的,但是脚本多了之后会变得难以维护。
Curator是如何解决这类问题的呢?我们一步一步来:
3.安装
首先,Curator是基于python实现的,我们可以直接通过pip来安装,这种方式最简单。
pip install elasticsearch-curator
4.基本配置
接下来,需要为 Curator 配置es连接:
其中hosts 允许配置多个地址,但是只能属于同一个集群。
这边只列举了最基本的配置,官方文档中包含了更详细的配置。
5.动作配置
然后需要配置我们需要执行的动作,每个动作会按顺序执行:
action 定义了需要执行的动作,curator支持十多种动作,可以在官方文档查看完整的动作列表。
options 定义了执行动作所需的参数,不同动作的参数也不尽相同,具体文档中都有写明。
filters 定义了动作的执行对象,通过设置filter,可以过滤出我们需要操作的索引。同一个action下的filter之间是且的关系。比如在上面的定义中,delete_indices下定义了两个filters:
模式匹配:匹配前缀为log的索引
“年龄”匹配:根据索引名中“%Y.%m.%d”时间格式,过滤出3天以前的索引
curator支持十多种filter,可以在官方文档查看完整列表。
6.执行
最后,我们通过curator命令行工具来执行:
curator --config /etc/curator/curator.yml /etc/curator/actions/maintain_log.yml
得到命令行输出:
从日志中可以看到,我们已经成功创建了隔天的索引,并删除了28号以前的索引。
7.定时执行
配置好curator后,还需要配置定时任务
使用 crontab-e编辑crontab,
添加一行:
0 23 * * *
curator --config /etc/curator/curator.yml
/etc/curator/actions/maintain_log.yml >> /var/curator.log 2> &1
crontab配置中的第一段是执行的周期,6个值分别是“分 时 日 月 周”,*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。
8.单个执行
除了定时任务,我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了 curator_cli的命令来执行单个action,比如我们想对所有log开头的索引做快照,使用一条命令即可完成:
curator_cli snapshot --repository repo_name
--
filter_list
{"filtertype"
:"pattern"
,
"kind"
:"prefix"
,"value"
:"log"
}
是不是特别方便?
执行流程
【Elasticsearch】Curator 从入门到实战相关推荐
- ElasticSearch 7.x 入门与实战
为了让项目的性能更好,检索的效率更高,考虑引入elasticsearch中间件. 我们的服务器环境为centos7,综合版本考虑,springboot的插件与服务器中都装7.x版本的 比较新,也比较多 ...
- 笔记-Elasticsearch搜索引擎构建入门与实战
协调节点根据数据获取分片ID的计算公式如下:shard=hash(routing)%number_of_primary_shards 第三方数据同步模块(如Canal)负责将数据库中的数据按照业务需求 ...
- ElasticSearch分布式搜索引擎从入门到实战应用(入门篇-基本命令操作)
ElasticSearch分布式搜索引擎从入门到实战应用(入门篇) 1.入门须知 2.ElasticSearch概述 2.1.ES简介 2.2.应用场景 3.ES和Solr的对比 3.1.ES作用 3 ...
- 《 Docker 技术入门与实战 》读书笔记 ( CentOS 安装 Docker )
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. PS :个人所有读书笔记只记录个人想要的内容,很可能原书大量内容没有纳入笔记中... ... 以下全 ...
- 最新版本elasticsearch本地搭建入门篇
最新版本elasticsearch本地搭建入门篇 项目介绍 最近工作用到elasticsearch,主要是用于网站搜索,和应用搜索. 工欲善其事,必先利其器. 自己开始关注elasticsearch, ...
- Docker技术入门与实战(第2版).
容器技术系列 Docker技术入门与实战 第2版 杨保华 戴王剑 曹亚仑 编著 图书在版编目(CIP)数据 Docker技术入门与实战 / 杨保华,戴王剑,曹亚仑编著. -2版. -北京:机械工业出版 ...
- Kubernetes权威指南第2版 和 Docker技术入门与实战第2版 两本容器的书下载地址
两本书的下载链接 下载链接 链接:https://pan.baidu.com/s/13gv0ZQRiHfvLwgwjsvUiEA 密码:hi8o Kubernetes权威指南第2版 目录: 第1章 K ...
- 干货 | Elasticsearch 冷热集群架构实战
Elasticsearch 最少必要知识实战教程直播回放 0.题记 Elasticsearch实战数据量级少的时候,单节点就能玩的很6,但是随着数据量的增长,多节点分布式横向扩展集群是大势所趋. 之前 ...
- Flink 最锋利的武器:Flink SQL 入门和实战
学习路径:<2021年最新从零到大数据专家学习路径指南> 面 试:<2021年最新版大数据面试题全面开启更新> [注意]:Flink1.9版本后的Flink SQL使 ...
最新文章
- 本工作簿不能再使用其他新字体_1.2.16 EXCEL篇之关于工作表的操作合集
- TopLink JPA
- 你画的流程图,全组人都能看得懂吗?
- YBTOJ洛谷P2042:维护数列(平衡树)
- 2000错误信息:MMC创建无法管理单元。
- Android 8.0 linux内核,在Ubuntu上为Android增加硬件抽象层(HAL)模块访问Linux内核驱动程序---Android8.0版本实现-对照老罗版本...
- shell执行perl_TOOLFK工具-在线Perl代码执行工具
- mac上设置sudo不要密码
- 高级GIS-0.整体裁剪
- Cocos2D-X笔记(1)制作一个动态的精灵
- Echarts3地图可视化教程
- win10怎么进入修复计算机,win10开不了机的修复方法步骤
- 06年他预测阿里巴巴会干掉慧聪网,当时所有人都在嘲笑他
- c语言中windows头文件,windows与linux 标准c语言头文件
- 怎样美化计算机的桌面图标,windows10图标美化怎么操作_win10电脑美化方法
- 分享利用QQ群淘宝客引流变现技巧
- 人人网主页登录_“人人”归来!有人想找前女友,有人想删“黑历史”
- 【蓝桥杯】入门训练 Fibonacci数列
- 欧几里得gcd与拓展欧几里得exgcd
- 2018年银联红包领取方法