在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。

默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。
这些功能是由两个属性控制的。
node.master和node.data
默认情况下这两个属性的值都是true。

下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。
node.master:这个属性表示节点是否具有成为主节点的资格
注意:此属性的值为true,并不意味着这个节点就是主节点。
因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。
所以,这个属性只是代表这个节点是不是具有主节点选举资格。

node.data:这个属性表示节点是否存储数据。

这两个属性可以有四种组合:
第一种:这种组合表示这个节点即有成为主节点的资格,又存储数据,
这个时候如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。
elasticsearch默认每个节点都是这样的配置,在测试环境下这样做没问题。实际工作中建议不要这样设置,
这样相当于主节点和数据节点的角色混合到一块了。
node.master: true
node.data: true

第二种:这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。
这个节点我们称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
node.master: false
node.data: true
第三种:这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。
这个节点我们称为master节点
node.master: true
node.data: false
第四种:这种组合表示这个节点即不会成为主节点,也不会存储数据,
这个节点的意义是作为一个client(客户端)节点,主要是针对海量请求的时候可以进行负载均衡。
node.master: false
node.data: false
默认情况下,每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求。
在一个生产集群中我们可以对这些节点的职责进行划分。
建议集群中设置3台以上的节点作为master节点【node.master: true node.data: false】
这些节点只负责成为主节点,维护整个集群的状态。
再根据数据量设置一批data节点【node.master: false node.data: true】
这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大
所以在集群中建议再设置一批client节点【node.master: false node.data: false】
这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

master节点:普通服务器即可(CPU 内存 消耗一般)
data节点:主要消耗磁盘,内存
client节点:普通服务器即可(如果要进行分组聚合操作的话,建议这个节点内存也分配多一点)

原文链接:https://blog.csdn.net/a19860903/article/details/72467996

转载于:https://www.cnblogs.com/uglyliu/p/9163564.html

转【es中数据节点和主机】相关推荐

  1. 5层模型中数据从源主机到目的主机之旅

    报文是用户发送的数据 传输层可能对报文进行拆分,加上段头 网络层会加上网络层的头,构成的协议数据单元叫做数据报 链路层会加头加尾构造帧 路由器的链路层会去掉帧头帧尾,还原到网络层数据报 再次封装成链路 ...

  2. doc es 中type_Elasticsearch基础——概念和基本API操作

    Elasticsearch 版本为 7.1.0 ,本文的讲解都是基于该版本 文章中Elasticsearch将使用简称ES代替 一.基本概念 文档--Document ES是面向文档的搜索,文档是ES ...

  3. SequoiaDB巨杉数据库数据节点

    概念 数据节点为一种逻辑节点,其中保存用户数据信息. 数据节点中没有专门的编目信息集合,因此第一次访问集合前需要向编目节点请求该集合的元数据信息. 在独立模式中,数据节点为单独的服务提供者,直接与应用 ...

  4. Elasticsearch和Hive整合,将hive数据同步到ES中

    1 Elasticsearch整合Hive 1.1 软件环境 Hadoop软件环境 Hive软件环境 ES软件环境 1.2 ES-Hadoop介绍 1.2.1 官网 https://www.elast ...

  5. es集群节点数和分片数关系_ES数据插入和查询流程是怎么样的?

    ES集群的状态有哪些,为什么主分片数目是固定的,副本分片却能动态调节,快看看这些关于ES的问题你都知道吗? 1. ES集群的状态 green 最健康的状态,说明所有的分片包括备份都可用 yellow ...

  6. 把json数据导入linux,使用json文件给es中导入数据

    使用json文件可以给es中导入数据,10万条左右的数据可以一次导入,数量太大时导入就会报错.大数量的到导入还是需要用bulk方式. accounts.json文件格式如下: {"index ...

  7. es集群节点数和分片数关系_ElasticSeaerch(弹性搜索数据库)中集群、节点、副本和分片的区别...

    简单总结下: 1.集群cluster: 集群顾名思义就是多个相同集群名称的es节点组合在一起.相当于一个集群就是一个班级,班级下面的学生就是节点. 如果只有一个节点在运行就称为单节点. 2.节点nod ...

  8. 使用elasticsearch-dump 复制ES数据到新ES中

    业务需求:将ES的数据导入到一个新的ES中(由于之前的节点数为6个节点,现在为1一个节点,所以,不能直接把data下的数据copy到新的ES中,需要使用elasticsearch-dump来复制数据) ...

  9. ES中实现分页查询数据并返回想要的字段

    在日志收集系统中,最近需要通过httpclient获取es中的日志信息,所以学习了一些es的查询语句方面的用法: 分页 分页的本质 分页的本质是从"大的数据集"中取出一部分.比如1 ...

  10. MySQL数据库数据导入ES中

    需要安装 mysql数据导入ES中,用到的有logstash,ES,mysql的连接包.链接:https://pan.baidu.com/s/1xopMMUtPir12zrQfYcwBZg  提取码: ...

最新文章

  1. 参数定义sql 递归查询子目录
  2. 控制器属性传值的一些小问题
  3. 适合vue的富文本框
  4. ps原始数据清理脚本_创建地形模型一步到位!PS最新2019全球首款3D地形生成插件送给你...
  5. HappyLeetcode50:Rotate Array
  6. SAP CDS view生成的OData服务对CRUD(增删改查)的支持
  7. 如何在 ASP.NET Core 中使用 NLog 的高级特性
  8. 如何逃离「信息茧房」?
  9. Java中枚举的线程安全性及序列化问题
  10. 11GR DATAGRUAD环境BROKER配置Fast-Start Failover
  11. 语言常用c100单词,英语口语练习_夏普新款PW-C100-G电子词典测评_沪江英语
  12. 第一部分:基础知识(第一章)File | New | Project
  13. 九爷 带你了解 nginx优化与防盗链
  14. 论文赏析[ACL17]一个最小化的基于跨度的神经句法分析器
  15. 互联网公司客户如何选择短信平台或短信通道需要知道的基本知识
  16. Android命令-重点命令-pm/am/content/wm/appops
  17. 前端程序员拿到新电脑第一天,该做些什么?
  18. kubernetes增加删除master节点操作
  19. vue使用xlsx导出excel
  20. 阿里云启动视频云V5计划,全面赋能生态合作伙伴

热门文章

  1. A. Game With Sticks
  2. poj 2182 Lost Cows 线段树!!!!
  3. inDesign教程,如何设置打印出血?
  4. pr自学教程,为丢失的镜头注入新的活力
  5. Xcode之developer tools access
  6. Mac远程管理软件Royal TSX
  7. 一体化数据库管理和迁移工具Navicat Premium for Mac
  8. 对Mac硬盘重新分区后如何恢复丢失的数据?
  9. Codeforces 1006 F - Xor-Paths
  10. OC开发实例变量的访问控制详解