项目场景：

最近es的线上经常出现一个内存的异常的问题,我解决了各种的途径都无效.最后再方案一种解决最终办法,方案二能解决部分问题.

问题描述：[[parent] Data too large, data for [<transport_request>] would be

{ml.machine_memory=134888816640, xpack.installed=true, ml.max_open_jobs=20}]; nested: RemoteTransportException[[localhost][10.84.10.192:9300][internal:index/shard/recovery/start_recovery]]; nested: CircuitBreakingException[[parent] Data too large, data for [<transport_request>] would be [8018288264/7.4gb], which is larger than

链接: 7.x的描述.

方案一.

方案二.常规解决方案

es number_of_shards和number_of_replicas.

elasticsearch提示 Data too large.

限制内存.

生产集群健康状况为黄色(yellow)的调优.

Shard大小官方推荐值为20-40GB, 具体原理呢？.

多shard和多index区别在哪里.

splitindex shards意义.

circuit_breaking_exception","reason":"[parent] Data too large,
https://msd.misuland.com/pd/4146263467944318600

三.threadpool config：

在elasticsearh.yml内部添加

修改ES线程池的配置：(读多写少场景，flush默认类型blocking，refresh，search，write默认类型fixed)
1）修改flush线程池(降低flush的线程数，减少资源占用)默认2，最大5：


thread_pool:flush:size: 1queue_size: 20
2)修改refresh线程池（降低refresh的线程数）默认10：thread_pool:refresh:size: 6queue_size: 20
3)修改search线程池（降低search的线程数）默认61：thread_pool:search:size: 40queue_size: 1204)修改write线程池（提高write的线程数）默认40：thread_pool:write:size: 60queue_size: 140

elasticsearch线上调优[ Data too large]相关推荐

hive不在同一台机 hue_环境篇：呕心沥血@CDH线上调优
环境篇:呕心沥血@CDH线上调优为什么出这篇文章? 近期有很多公司开始引入大数据,由于各方资源有限,并不能合理分配服务器资源,和服务器选型,小叶这里将工作中的总结出来,给新入行的小伙伴带个方向,不敢 ...
清华毕业大牛教你涨薪5K的JVM调优骚操作是什么！如何在简历写上熟悉（精通）JVM调优，有过线上调优经验！
就在前天的时候,马士兵老师讲了一节公开课,分享了涨薪5K的JVM调优骚操作是什么!如何在简历写上熟悉(精通)JVM调优,有过线上调优经验! 主要包含的内容如下: 1. 为什么一个百万级TPS系统会频繁 ...
java 线上调优_阿里余额宝团队Java4面:G1+二叉树+线上调优+MQ+Redis
最近不少人都在找工作,很多人开始抱怨,工作难找,不少人后台问我怎么办,讲真,我也无能为力,年前我就说了,今年节后工作竞争一定比较激烈的. 面试只是对个人技术及应变能力的一次考验.只有解决了一个问题,你 ...
[fielddata] Data too large, data for [_id] would be [13181907968/12.2gb]
问题描述使用ES search after查询报如下错误,fielddata缓存熔断异常. org.frameworkset.elasticsearch.ElasticSearchException ...
【Elasticsearch】Data too large, data for which is larger than the limit of
1.概述参考:elasticsearch报Data too large异常处理在线上ES集群日志中发现了如下异常,elasticsearch版本为7.3.2 [2021-03-16T21:05:1 ...
记录一次尝试修复elasticsearch Data too large问题
前言这周三,一边调试api crashloopbackoff的问题,一边准备写promSQL语句,然后开发小伙伴说环境3的es又挂了,表现就是查询数据报错: circuit_breaking_exc ...
【Elasticsearch】Elasticsearch性能调优
1.概述转载:Elasticsearch性能调优因为总是看到很多同学在说elasticsearch性能不够好,集群不够稳定,询问关于elasticsearch的调优,但是每次都是一个个点的单独讲, ...
使用G1后报错-CircuitBreakingException: [parent] Data too large
使用G1后报错 Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too larg ...
【Elasticsearch】eBay上的Elasticsearch性能调优实践
1.概述翻译:eBay上的Elasticsearch性能调优实践中文版:eBay上的Elasticsearch性能调优实践 Elasticsearch 是一个基于 Apache Lucene 的开 ...

elasticsearch线上调优[ Data too large]