【ES实战】ES集群节点迁移与缩容补充说明

【ES实战】ES集群节点迁移与缩容

文章目录

【ES实战】ES集群节点迁移与缩容补充说明
- 1、集群的现状分析和集群的规划
- 2、集群健康关注点，变化关注点
- 3、集群的可缩容实例个数
- 4、监控指标说明

1、集群的现状分析和集群的规划

（新机器部署安装角色不知道排的是否正确？）

确认目前的部署方式
- 确认项
  - master与data实例是否分离部署
  - 单机器是否部署了多个data角色实例
  - 确认服务器存储使用情况
- 确认方式：可以通过GET _cat/nodes?v&s=ip命令和GET _cat/indices?v&s=store.size:desc命令结果来确认。
  - node.role中mdi代表master和data未分离
  - node.role中mi代表master角色不包含data
  - node.role中di代表data角色不包含master
  - 同一个IP下出现多个包含d的代表，同一台机器下部署了多个data实例。
  - store.size代表目前主分片和副本分片一共占的存储大小。
新的部署要求
1. 若不是完全替换集群中所有的机器，则端口号与之前保持一致。
2. master与data实例分离部署，一台机器上可以部署一个data实例和一个master。
3. 若集群原来采用的是单机部署多个data实例，则新扩容的机器上也可以部署多个data实例
4. 若集群未采用单机多data实例部署，则不进行单机多data实例部署。
5. 若单机需要部署1个master+2个data实例，则服务器最低配置需要20C 128G。存储按实际情况来。

2、集群健康关注点，变化关注点

（扩容，迁移后重点关注查看哪些项？）

通过命令来查询集群的健康情况和节点实例情况

GET _cat/health?v：查询集群健康情况，status 值可以为green,yellow,red三种。
- green：集群上所有索引的主分片和副本分片全部属于正常状态。
- yellow：集群上所有索引的主分片均已正常，还存在部分副本分片为正常。
- red：集群上存在部分主分片不正常。
对于索引分片未正常的情况，可以参考：【ES实战】分片无法分配
GET _cat/nodes?v&s=ip：查询集群上节点实例的情况，检查对应的实例是否已经正确加入集群。角色（node.role）是否正确。
GET _cat/shards?v&s=state,ip,index：查询集群上索引分片的情况。检查集群分片的迁移情况，state不为STARTED，均需要关注。

对于数据迁移可以参考：【ES实战】节点数据的清空

对于索引分片无法正常的情况，可以参考：【ES实战】分片无法分配

3、集群的可缩容实例个数

（用户上报的缩容数字和预操作数不匹配的时候不知道如何处理）

通过排除节点数据且不下节点的方式，将数据集中在某个数量的ES实例中，通过监控，存储，集群未发生故障，排除的节点数量代表集群目前实际可以缩容的机器数。
因为集群健康度导致的资源浪费（无法正常缩容的），需要对业务对集群进行治理。治理方向主要为大分片，无用索引，无效数据生命周期等等。
对于为达到最小化部署标准（3台机器），可以尝试与用户沟通进行缩容。
通过告警寻找故障率较高的机器，优先缩容和替换。

4、监控指标说明

（查看集群情况promes的时候重点关注哪些项？）

集群层面
- 集群状态（cluster status）
- 节点数（nodes）
- 待执行任务数（pending tasks）
- 索引个数（indices）
- 总存储（Size）
- 分片数（total shards）
- 未分配分片（unassigned）
- 正在初始化分片（initializing）
- 正在迁移的分片（relocating）
节点层面
- 读、写、删除的tps、延迟，包括各节点的最小值、最大值、均值、当前值
- 各节点的监控指标：cpu使用率（CPU utilization），节点负载（load average），节点内存使用（Memory useage），磁盘使用率（Disk of path usage）
- heap使用内存（heap used）进程启动内存为31G、GC次数（GC count）、GC耗时（GC time）
- 读、写线程的情况，rejected属性的线程数量，只增不减（重启实例重置），不一定代表当前的最大值，可代表历史最大值
  - 写数据线程：bulk线程池活跃线程数（bulk active）、index 线程池活跃线程数（index active）、bulk线程池排队的任务数（bulk queue）、index线程池排队的任务数（index queue）、拒绝的bulk任务数（bulk rejected）、拒绝的index任务数（index rejected）
  - 读数据线程：search线程池活跃线程数（search active）、get线程池活跃线程数（get active）、search线程池排队的任务数（search queue）、get线程池排队的任务数（get queue）、拒绝的search任务数（search rejected）、拒绝的get任务数（get rejected）
索引层面
- 索引主分片数（index primary shards）
- 索引的副本数（index replicas）
- 索引存储大小（Index Size）
- 索引segment个数（Segment Count）
- *索引segment占用内存（Segment Memory）
- 索引写tps（Index Rate）
- 索引读tps（Search Rate）
- 索引refresh频率（Refresh Rate）
- 索引Flush频率（Flush Rate）
- 索引删除文档数（Document deleted count）
- 索引Translog大小（transLog size）

【ES实战】ES集群节点迁移与缩容补充说明相关推荐

redis专题：redis集群的动态扩容缩容，水平扩展
文章目录 1. 扩容背景介绍 2. redis集群扩容 2.1 增加redis实例 2.2 配置8007为master节点 2.3 配置8008为8007的从节点 3. redis集群缩容 3.1 先 ...
docker部署redis集群实现动态扩缩容
目录思考分布式存储的解决方案哈希取余分区一致性哈希算法分区哈希槽分区采用哈希槽分区部署三主三从(docker) 准备工作创建3主3从redis实例进入容器中,构建主从关系主从容错切 ...
大数据离线集群数据迁移实战项目
有赞大数据离线集群迁移实战一.背景有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营的 SaaS 系统和一体化新零售解决方案.随着近年来社交电商的火爆,有赞大数据集群一直处于快速增 ...
多台es服务器搭建elasticsearch集群，es单机伪集群搭建，在一台服务器上以三个不同的端口模拟三台主机完成es伪集群搭建，windows和Linux操作方法一致
目录 (一)es单机伪集群搭建一.准备三台elasticsearch服务器(复制三个es目录) 二.修改每台服务器的配置 1.修改es配置文件 2.配置注意 (二)多台服务器es集群搭建: 1 安装 ...
zookeeper集群节点热扩容和迁移详解
推荐阅读 Helm3(K8S 资源对象管理工具)视频教程:https://edu.csdn.net/course/detail/32506 Helm3(K8S 资源对象管理工具)博客专栏:https: ...
实战weblogic集群之创建节点和集群
一.启动weblogic,访问控制台 weblogic的domain创建完成后,接下来就可以启动它,步骤如下: $ cd /app/sinova/domains/base_domain/bin $ . ...
Elasticsearch集群节点配置详解
注意:如果是在局域网中运行elasticsearch集群也是很简单的,只要cluster.name设置一致,并且机器在同一网段下,启动的es会自动发现对方,组成集群. 三.配置浅涉 elasticse ...
mongodb3 分片集群平滑迁移
分片集群平滑迁移实验(成功) 过程概述: 为每个分片添加多个从节点,然后自动同步.同步完后,切换主节点到新服务器节点. 导出原来的config 数据库,并导入到新服务器的config数据库停掉整个集 ...
redis哨兵集群数据迁移_redis集群数据迁移—redis-migrate-tool神器
往常大家对数据的迁移可能会想到mysql.mongodb.oracle等数据库的迁移,对redis数据的迁移可能比较少,因为redis平时都是用来做缓存用,里面的数据无所谓.因为某些特殊场景下,red ...

【ES实战】ES集群节点迁移与缩容补充说明

【ES实战】ES集群节点迁移与缩容补充说明

文章目录

1、集群的现状分析和集群的规划

2、集群健康关注点，变化关注点

3、集群的可缩容实例个数

4、监控指标说明

【ES实战】ES集群节点迁移与缩容补充说明相关推荐

最新文章

热门文章