1.概述

转载：https://www.cnblogs.com/sanduzxcvbnm/p/12850357.html

2.角色划分

在Elasticsearch中，有很多角色，常用的角色有如下：

Master Node：          主节点
Master eligible nodes：   合格节点
Data Node：数          据节点
Coordinating Node：       协调节点
Ingest Node：         ingest节点
machine learning：        机器学习节点

Master Node：主节点，该节点不和应用创建连接，每个节点都保存了集群状态，master节点不占用磁盘IO和CPU，内存使用量一般。
Master eligible nodes：合格节点，每个节点部署后不修改配置信息，默认就是一个 eligible 节点，该节点可以参加选主流程，成为Mastere节点。该节点也保存了集群节点的状态。eligible节点比Master节点更节省资源，因为它还未成为 Master 节点，只是有资格成功Master节点。
Data Node：数据节点，该节点和索引应用创建连接、接收索引请求，该节点真正存储数据，ES集群的性能取决于该节点的个数（每个节点最优配置的情况下），data节点会占用大量的CPU、IO和内存。
Coordinating Node：协调节点，该节点和检索应用创建连接、接受检索请求，但其本身不负责存储数据，可当负责均衡节点，该节点不占用io、cpu和内存。
Ingest Node：ingest 节点可以看作是数据前置处理转换的节点，支持 pipeline管道设置，可以使用 ingest 对数据进行过滤、转换等操作，类似于 logstash 中 filter 的作用，功能相当强大。
- Ingest节点和集群中的其他节点一样，但是它能够创建多个处理器管道，用以修改传入文档。类似最常用的Logstash过滤器已被实现为处理器。
- Ingest节点可用于执行常见的数据转换和丰富。处理器配置为形成管道。在写入时，Ingest Node有20个内置处理器，例如grok，date，gsub，小写/大写，删除和重命名。
- 在批量请求或索引操作之前，Ingest节点拦截请求，并对文档进行处理。
  这样的处理器的一个例子可以是日期处理器，其用于解析字段中的日期。

3.各节点间的关系

Master Node：master节点控制整个集群的元数据。只有Master Node节点可以修改节点状态信息及元数据(metadata)的处理，比如索引的新增、删除、分片路由分配、所有索引和相关 Mapping 、Setting 配置等等。
Master eligible nodes：有资格成为Master节点但暂时并不是Master的节点被称为 eligible 节点，该节点只是与集群保持心跳，判断Master是否存活，如果Master故障则参加新一轮的Master选举。
Data Node：data节点的分片执行查询语句获得查询结果后将结果反馈给Coordinating节点，在查询的过程中非常消耗硬件资源，如果在分片配置及优化没做好的情况下，进行一次查询非常缓慢(硬件配置也要跟上数据量)。
Coordinating Node：协调节点接受客户端搜索请求后将请求转发到与查询条件相关的多个data节点的分片上，然后多个data节点的分片执行查询语句或者查询结果再返回给协调节点，协调节点把各个data节点的返回结果进行整合、排序等一系列操作后再将最终结果返回给用户请求。
Ingest Node： Ingest节点处理时机——在数据被索引之前，通过预定义好的处理管道对数据进行预处理。默认情况下，所有节点都启用Ingest，因此任何节点都可以处理Ingest任务。我们也可以创建专用的Ingest节点。

4.资源规划

Master Node：Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群(生产建议每个es实例部署在不同的设备上)，三个Master节点最多只能故障一台Master节点，数据不会丢失，如果三个节点故障两个节点，则造成数据丢失并无法组成集群。
Master eligible nodes：Elasticsearch如果使用三台Master做集群，其中一台被真正选为了Master，那么其它两台就是 eligible 节点。
Data Node：在Elasticsearch集群中，此节点应该是最多的，单个索引在一个data节点实例上分片数保持在3个以内(我觉得分片数量按照Data节点数量划分比较好，每个节点上存储一个分片)；每1GB堆内存对应集群的分片保持在20个以内；每个分片大小不要超过30G。
Coordinating Node: 增加协调节点可增加检索并发,但检索的速度还是取决于查询所命中的分片个数以及分片中的数据量。

5.Data节点建议

5.1 内存建议

假如一台机器部署了一个ES实例，则ES最大可用内存给到物理内存的50%，最多不可超过32G，如果单台机器上部署了多个ES实例，则多个ES实例内存相加等于物理内存的50%，多个ES实例内存相加不宜超过32G。

5.2 分片建议

如果单个分片每个节点可支撑90G数据，依此可计算出所需data节点数。
如果多个分片按照单个data节点jvm内存最大30G来计算，一个节点的分片保持在600个以内，存储保持在18T以内

【Elasticsearch】Elasticsearch之集群角色类型相关推荐

Helm部署ElasticSearch Kibana 7 集群
一.简介 Elasticsearch 是一个分布式的搜索和分析引擎,可以用于全文检索.结构化检索和分析,并能将这三者结合起来.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便,轻松扩 ...
Elasticsearch：跨集群复制 Cross-cluster replication（CCR)
跨集群复制(CCR)功能支持将远程集群中的索引复制到本地集群. 可以在一些常见的生产用例中使用此功能: 灾难恢复(DR)/高可用性(HA):如果主群集发生故障,则进行灾难恢复. 辅助群集可以用作热备份 ...
Elasticsearch 7.6 集群搭建
ES集群搭建准备工作服务器环境准备三台服务器集群,如下图机器的分配情况: 服务器名称 IP地址 node-1 192.168.8.190 node-2 192.168.8.185 node-3 ...
1.ElasticSearch系列之集群部署
第一步:安装JDK JDK要求jdk1.8+,不安装也可以,ES自带JDK 第二步:系统配置 2.1 禁用交换区 sudo swapoff -a 2.2 开最大文件数的限制编辑文件 /etc/sec ...
3、kubeadm部署Kubernetes 网络插件flannel、Calico、weave 并设置集群角色
Kubernetes(k8s)是自动化容器操作的开源平台,这些操作包括部署,调度和节点集群间扩展. Kubernetes不仅支持Docker,还支持Rocket,这是另一种容器技术. 使用Kubern ...
rabbitmq基础5——集群节点类型、集群基础运维，集群管理命令，API接口工具
文章目录一.集群节点类型 1.1 内存节点 1.2 磁盘节点二.集群基础运维 2.1 剔除单个节点 2.1.1 集群正常踢出正常节点 2.1.2 服务器异常宕机踢出节点 2.1.3 集群正常重置并 ...
一条数据的HBase之旅，简明HBase入门教程4：集群角色
[摘要] 本文主要介绍HBase与HDFS的关系,一些关键进程角色,以及在部署上的建议 HBase与HDFS 我们都知道HBase的数据是存储于HDFS里面的,相信大家也都有这么的认知: HBase是 ...
ElasticSearch中的集群、节点、索引、文档、类型是什么？
群集:一个或多个节点(服务器)的集合,它们共同保存您的整个数据,并提供跨所有节点的联合索引和搜索功能.群集由唯一名称标识,默认情况下为"elasticsearch".此名称很重要, ...
全文检索-Elasticsearch安装、集群和使用超全解读
文章目录 1 ElasticSearch 介绍 1.1 介绍 1.2 原理与应用 1.2.1索引结构 1.2.3 RESTful应用方法 2 ElasticaSearch 安装 2.1 安装 2.2 ...

【Elasticsearch】Elasticsearch之集群角色类型