es动态分配分片_解决ES索引分片均衡问题

运行了两年的ES集群，今天索引节点突然不均衡，新建索引分片都集中到一个节点上了，如下图：

同时还有部分节点分片在恢复，如上图，有432个待恢复分片，而且只有两个分片在同时恢复，网络吞吐也很小，这要等到猴年马月：

首先调整索引分布,在集群元数据比较大情况下，修改settings可能会超过30s，需要在后面指定master_timeout：

"index.routing.allocation.include._ip":"node1ip,node2ip,node3ip,node4ip,node5ip"

然后再修改索引恢复参数：

curl -XPUT 'http://localhost:9200/_cluster/settings?flat_settings=true&timeout=60000s&master_timeout=60000s' -d '

{

"transient" : {

"indices.recovery.max_bytes_per_sec" : "900mb",

"cluster.routing.allocation.node_concurrent_recoveries": "10",

"cluster.routing.allocation.cluster_concurrent_rebalance": 10

}

集群设置参数说明：

cluster.routing.allocation.allow_rebalance

设置根据集群中机器的状态来重新分配分片，可以设置为always, indices_primaries_active和indices_all_active，默认是设置成indices_all_active来减少集群初始启动时机器之间的交互。

cluster.routing.allocation.cluster_concurrent_rebalance

设置在集群中最大允许同时进行分片分布的个数，默认为2，也就是说整个集群最多有两个分片在进行重新分布。

cluster.routing.allocation.node_initial_primaries_recoveries

设置指定初始每个节点。

cluster.routing.allocation.node_concurrent_recoveries

设置在节点中最大允许同时进行分片分布的个数，默认为2

cluster.routing.allocation.disable_allocation

使主要分片或副本的分布失效。要知道，如果主分片不存在(那个节点挂了)那么其副本仍然会被提升为主分片，这个设置只有在动态地使用集群更新设置api调用时才生效。

cluster.routing.allocation.disable_replica_allocation

使副本分布失效。和上一个设置一样，只有动态地使用集群更新设置api调用时才生效。

indices.recovery.concurrent_streams

当从一个点(peer)恢复分片时当前节点最多允许的文件读取流的个数，默认为5

最后网络吞吐上去了，索引分片快速恢复，集群恢复正常。

es动态分配分片_解决ES索引分片均衡问题相关推荐

es的分片和副本_Elasticsearch 索引分片与副本设置技巧
Elasticsearch虽然搜索很快,但如果分片设置不当,当数据量达到一个量级后,查询速度也会直线下降. 如果一个索引具有很大的数据量,它的数据量可能会超出单个节点的容量限制(硬盘容量),而且单个节 ...
java中使用es精准查询_使用ES简单查询语句须知
查询样例 {"query": { //1 "bool": { ///2 "must": [{ //3 "query_string& ...
设置文件副本数_ElasticSearch平滑批量缩减索引分片数实践
一.背景 Elasticsearch作为开源分布式检索分析引擎,具有近实时的检索能力.海量数据的分布式存储能力.海量数据的近实时分析能力,目前广泛应用于国内外互联网公司.站内检索.订单类数据的多 ...
es分片多少合理_【ES】ElasticSearch 深入分片
@[toc] 一.分片介绍分片是 Elasticsearch 在集群中分发数据的关键. 把分片想象成数据的容器.文档存储在分片中,然后分片分配到集群中的节点上.当集群扩容或缩小,Elasticsea ...
es动态分配分片_ES集群分片及副本调整
分片shardsES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在必要的时候对分片数据进行再平衡分配副本replica ...
【Elasticsearch】es 集群健康值红色 red 分片未分配
1.概述转载:https://zhuanlan.zhihu.com/p/101608973 转载这篇文章是因为根据我的文章 [Elasticsearch]elasticsearch 7.x 查看分片 ...
es数据更新时间_京东到家订单中心系统mysql到es的转化之路
原文:https://www.toutiao.com/i6796507988602389006 京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大 ...
Elasticsearch（一）——Es安装（三个必安工具、安装各种类型分词器）、Es 十大核心概念、通过 Kibana 操作 Es（中文分词、Es各种索引命令操作）
Elasticsearch(一)--Es安装(三个必安工具.安装各种类型分词器).Es 十大核心概念.通过 Kibana 操作 Es(中文分词.Es各种索引命令操作) 一.Elasticsearch ...
java使用ElasticSearch的scroll查询，高效的解决es查询数量的限制。
java使用ElasticSearch的scroll查询,高效的解决es查询数量的限制. 一.为什么要使用ES的scroll (1)首先我们要明白es的查询机制:ES的搜索是分2个阶段进行的,即Que ...

es动态分配分片_解决ES索引分片均衡问题

es动态分配分片_解决ES索引分片均衡问题相关推荐

最新文章

热门文章