1.概述

转载：https://bbs.huaweicloud.com/forum/thread-69707-1-1.html

2.场景

场景1 内存参数配置不合理。
场景2 bulk提交量过大，导致内存被堆满。
场景3 客户端IP，端口配置问题。
场景4 写入时指定DOC ID，导致读IO高。
场景5 bulk队列积压，请求线程被拒绝。
场景6 热分片问题。
场景7 集群不稳定，大量分片迁移和恢复。
场景8 部分实例长时间不断的full gc，导致实例处于假死状态。
场景9 磁盘IO瓶颈。
场景10 查询业务占用大量的资源。
场景11 索引段合并占用大量的IO资源。
场景12 分词器设计不合理。

3.问题排查步骤

登录集群，检查集群是否green，是否有分片转移或者实例恢复。如果有分片转移或实例恢复中，待分片转移成功或恢复完成。
如果有大量的分片转移可以调小分片转移并发数为2，或等待集群分片迁移完成。
查看集群是否存在告警，如堆内存使用超过阈值的告警。检查服务级别和实例级别的参数设置，确认其GC_OPTS参数设置为30G，且-Xms的值和-Xmx参数值相同。若内存设置合理，则需要采集该节点日志进行分析进一步排查。同时与ISV确认bulk提交方式是否正确，一次bulk提交5MB左右。
查看bulk写入线程队列情况，是否存在积压的情况。
如果出现队列积压的问题，需要进一步进行排查分片是否分布的均匀，是否存在热分片的问题。
与业务侧确定正在写入的索引名称，查看这个索引的分片分布，如果存在阻塞的实例上同时分布着写入索引的多个分片，需要设置total_shards_per_node参数，使得分片均匀分布。
进一步查看机器IO，执行命令iostat –dxm 1，查看机器IO情况，如果出现IO瓶颈，需进一步进行确认：

- 是否有大量的查询业务，导致IO被占用，需要控制业务查询并发，同时配置EsClient；
- 写入是否指定了DOC ID，导致读IO很高，建议使用ES自动分配的doc ID；
- 是否在进行大量的索引段合并，如果不是SSD盘，建议修改索引段合并线程为1；
- 确实已经达到磁盘IO瓶颈，需要进行扩容。

内存达到瓶颈，查看内存满问题定位处理方法。

【Elasticsearch】ES写入满排查思路-内存溢出相关推荐

java内存溢出模拟_模拟实战排查堆内存溢出（java.lang.OutOfMemoryError: Java heap space）问题...
前言: 模拟实战中排查堆内存溢出(java.lang.OutOfMemoryError: Java heap space)的问题. 堆内存溢出的原因:一般都是创建了大量的对象,这些对象一直被引用着,无 ...
redis 内存不足排查_Redis内存溢出问题排查
Redis内存溢出问题排查最近生产环境服务器上的redis内存波动,导致了一次OOM,查询/var/log/messages后发现原本只会在1~2G大小之间波动的Redis内存竟然达到8G,然后OO ...
linux 内存溢出排查_java 内存溢出栈溢出的原因与排查方法
1. 内存溢出的原因是什么? 内存溢出是由于没被引用的对象(垃圾)过多造成JVM没有及时回收,造成的内存溢出.如果出现这种现象可行代码排查: 一)是否应用中的类中和引用变量过多使用了Static修饰 ...
一次排查PHP内存溢出的心路：PHP Fatal Error Allowed memory size
一个项目的服务器报错 Fatal error: Allowed memory size of 2097152 bytes exhausted (tried to allocate 4096 bytes ...
使用windbg排查一个内存溢出的问题
发现有一个服务占用大量的内存奇怪的是服务一开始的时候只占用100M左右内存,随着时间推移越来越大,最后导致服务器内存吃紧.这可以算是一种内存泄漏的问题,之所以标题不说是内存泄漏,最后就会知道,并不是 ...
javaWeb项目内存溢出解决方案
如何排查项目内存溢出的问题出在哪呢? 最近在运维一个项目中,用户提出在使用图片上传或提交的时候总会出现页面无响应:为了排查问题,进入后台打开tomcat的startup.bat运行项目:发现项目会自动 ...
【Elasticsearch】ES内存满问题排查思路
1.概述转载:https://bbs.huaweicloud.com/forum/thread-69710-1-1.html 2.问题排查思路场景1 内存参数配置不合理. 场景2 查询返回的siz ...
JVM：JVM内存结构、内存溢出及简单排查思路
1.JVM内存结构 JVM 的运行时数据区主要包括:堆.栈.方法区.程序计数器等 1.1.程序计数器(PC寄存器) 程序计数器(Program Counter Register)是一块较小的内存空间, ...
【Java内存溢出排查】gc监测以及内存突增问题排查
前情提要文档:[Java内存溢出排查]测试环境服务器挂... 链接:http://note.youdao.com/noteshare?id=783e7ec89950f4167867ef3ef3347 ...

【Elasticsearch】ES写入满排查思路-内存溢出

文章目录

1.概述

2.场景

3.问题排查步骤

【Elasticsearch】ES写入满排查思路-内存溢出相关推荐

最新文章

热门文章