转【es中数据节点和主机】
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。
默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。
这些功能是由两个属性控制的。
node.master和node.data
默认情况下这两个属性的值都是true。
下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。
node.master:这个属性表示节点是否具有成为主节点的资格
注意:此属性的值为true,并不意味着这个节点就是主节点。
因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。
所以,这个属性只是代表这个节点是不是具有主节点选举资格。
node.data:这个属性表示节点是否存储数据。
这两个属性可以有四种组合:
第一种:这种组合表示这个节点即有成为主节点的资格,又存储数据,
这个时候如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。
elasticsearch默认每个节点都是这样的配置,在测试环境下这样做没问题。实际工作中建议不要这样设置,
这样相当于主节点和数据节点的角色混合到一块了。
node.master: true
node.data: true
第二种:这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。
这个节点我们称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
node.master: false
node.data: true
第三种:这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。
这个节点我们称为master节点
node.master: true
node.data: false
第四种:这种组合表示这个节点即不会成为主节点,也不会存储数据,
这个节点的意义是作为一个client(客户端)节点,主要是针对海量请求的时候可以进行负载均衡。
node.master: false
node.data: false
默认情况下,每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求。
在一个生产集群中我们可以对这些节点的职责进行划分。
建议集群中设置3台以上的节点作为master节点【node.master: true node.data: false】
这些节点只负责成为主节点,维护整个集群的状态。
再根据数据量设置一批data节点【node.master: false node.data: true】
这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大
所以在集群中建议再设置一批client节点【node.master: false node.data: false】
这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。
master节点:普通服务器即可(CPU 内存 消耗一般)
data节点:主要消耗磁盘,内存
client节点:普通服务器即可(如果要进行分组聚合操作的话,建议这个节点内存也分配多一点)
原文链接:https://blog.csdn.net/a19860903/article/details/72467996
转载于:https://www.cnblogs.com/uglyliu/p/9163564.html
转【es中数据节点和主机】相关推荐
- 5层模型中数据从源主机到目的主机之旅
报文是用户发送的数据 传输层可能对报文进行拆分,加上段头 网络层会加上网络层的头,构成的协议数据单元叫做数据报 链路层会加头加尾构造帧 路由器的链路层会去掉帧头帧尾,还原到网络层数据报 再次封装成链路 ...
- doc es 中type_Elasticsearch基础——概念和基本API操作
Elasticsearch 版本为 7.1.0 ,本文的讲解都是基于该版本 文章中Elasticsearch将使用简称ES代替 一.基本概念 文档--Document ES是面向文档的搜索,文档是ES ...
- SequoiaDB巨杉数据库数据节点
概念 数据节点为一种逻辑节点,其中保存用户数据信息. 数据节点中没有专门的编目信息集合,因此第一次访问集合前需要向编目节点请求该集合的元数据信息. 在独立模式中,数据节点为单独的服务提供者,直接与应用 ...
- Elasticsearch和Hive整合,将hive数据同步到ES中
1 Elasticsearch整合Hive 1.1 软件环境 Hadoop软件环境 Hive软件环境 ES软件环境 1.2 ES-Hadoop介绍 1.2.1 官网 https://www.elast ...
- es集群节点数和分片数关系_ES数据插入和查询流程是怎么样的?
ES集群的状态有哪些,为什么主分片数目是固定的,副本分片却能动态调节,快看看这些关于ES的问题你都知道吗? 1. ES集群的状态 green 最健康的状态,说明所有的分片包括备份都可用 yellow ...
- 把json数据导入linux,使用json文件给es中导入数据
使用json文件可以给es中导入数据,10万条左右的数据可以一次导入,数量太大时导入就会报错.大数量的到导入还是需要用bulk方式. accounts.json文件格式如下: {"index ...
- es集群节点数和分片数关系_ElasticSeaerch(弹性搜索数据库)中集群、节点、副本和分片的区别...
简单总结下: 1.集群cluster: 集群顾名思义就是多个相同集群名称的es节点组合在一起.相当于一个集群就是一个班级,班级下面的学生就是节点. 如果只有一个节点在运行就称为单节点. 2.节点nod ...
- 使用elasticsearch-dump 复制ES数据到新ES中
业务需求:将ES的数据导入到一个新的ES中(由于之前的节点数为6个节点,现在为1一个节点,所以,不能直接把data下的数据copy到新的ES中,需要使用elasticsearch-dump来复制数据) ...
- ES中实现分页查询数据并返回想要的字段
在日志收集系统中,最近需要通过httpclient获取es中的日志信息,所以学习了一些es的查询语句方面的用法: 分页 分页的本质 分页的本质是从"大的数据集"中取出一部分.比如1 ...
- MySQL数据库数据导入ES中
需要安装 mysql数据导入ES中,用到的有logstash,ES,mysql的连接包.链接:https://pan.baidu.com/s/1xopMMUtPir12zrQfYcwBZg 提取码: ...
最新文章
- 参数定义sql 递归查询子目录
- 控制器属性传值的一些小问题
- 适合vue的富文本框
- ps原始数据清理脚本_创建地形模型一步到位!PS最新2019全球首款3D地形生成插件送给你...
- HappyLeetcode50:Rotate Array
- SAP CDS view生成的OData服务对CRUD(增删改查)的支持
- 如何在 ASP.NET Core 中使用 NLog 的高级特性
- 如何逃离「信息茧房」?
- Java中枚举的线程安全性及序列化问题
- 11GR DATAGRUAD环境BROKER配置Fast-Start Failover
- 语言常用c100单词,英语口语练习_夏普新款PW-C100-G电子词典测评_沪江英语
- 第一部分:基础知识(第一章)File | New | Project
- 九爷 带你了解 nginx优化与防盗链
- 论文赏析[ACL17]一个最小化的基于跨度的神经句法分析器
- 互联网公司客户如何选择短信平台或短信通道需要知道的基本知识
- Android命令-重点命令-pm/am/content/wm/appops
- 前端程序员拿到新电脑第一天,该做些什么?
- kubernetes增加删除master节点操作
- vue使用xlsx导出excel
- 阿里云启动视频云V5计划,全面赋能生态合作伙伴