1.概述

2.原因

可能导致ES CPU高的原因：

复杂的query查询举例：我这边出现过200个组合wildcard query导致集群down掉的情况；
有大量的reindex操作
ES版本较低

2.排查思路

2.1、业务场景排查

问自己几个问题？

1）集群中数据类型是怎么样的？
2）集群中有多少数据？
3）集群中有多少节点数、分片数？
4）当前集群索引和检索的速率如何？
5）当前在执行哪种类型的查询或者其他操作？

建议Htop观察，结合ElaticHQ 观察CPU曲线
CPU高的时候，建议看一下ES节点的日志，看看是不是有大量的GC。
查看hot_threads。 GET _nodes/hot_threads

::: {test}{ikKuXkFvRc-qFCqG99smGg}{VE-uqoiARoONJwomfPwRBw}{127.0.0.1}{127.0.0.1:9300}{ml.machine_memory=8481566720, ml.max_open_jobs=20, ml.enabled=true}Hot threads at 2018-04-09T15:58:21.117Z, interval=500ms, busiestThreads=3, ignoreIdleThreads=true:0.0% (0s out of 500ms) cpu usage by thread 'Attach Listener'unique snapshotunique snapshotunique snapshotunique snapshotunique snapshotunique snapshotunique snapshotunique snapshotunique snapshotunique snapshot

3、解决方案：

3.1、集群负载高，增加新节点以缓解负载。

3.2、增加堆内存到系统内存的1半，最大31GB（理论上线32GB）.如果机器内存不够，那就加大内存吧。
https://github.com/elastic/elasticsearch/issues/10437
https://discuss.elastic.co/t/es-high-cpu-usage-when-idle/87950/4

3.3、插入数据的时候，副本数设置为0. 分片数不可以修改，副本数是可以修改的。
注意：分片过多，会导致：堆内存压力大。

3.4、配置优化

Force all memory to be locked, forcing the JVM to never swap
bootstrap.mlockall: true
Threadpool Settings
Search pool
threadpool.search.type: fixed
threadpool.search.size: 20
threadpool.search.queue_size: 200
Bulk pool
threadpool.bulk.type: fixed
threadpool.bulk.size: 60
threadpool.bulk.queue_size: 3000
Index pool
threadpool.index.type: fixed
threadpool.index.size: 20
threadpool.index.queue_size: 1000
Indices settings
indices.memory.index_buffer_size: 30%
indices.memory.min_shard_index_buffer_size: 12mb
indices.memory.min_index_buffer_size: 96mb
Cache Sizes
indices.fielddata.cache.size: 30%
#indices.fielddata.cache.expire: 6h #will be depreciated & Dev recomend not to use it
indices.cache.filter.size: 30%
#indices.cache.filter.expire: 6h #will be depreciated & Dev recomend not to use it
Indexing Settings for Writes
index.refresh_interval: 30s
#index.translog.flush_threshold_ops: 50000
#index.translog.flush_threshold_size: 1024mb
index.translog.flush_threshold_period: 5m
index.merge.scheduler.max_thread_count: 1

N.参考

https://blog.csdn.net/laoyang360/article/details/79874984
https://www.elastic.co/guide/en/elasticsearch/reference/current/ignore-above.html#ignore-above
https://discuss.elastic.co/t/es-high-cpu-usage-when-idle/87950/4

【Elasticsearch】Elasticsearch CPU高排查思路相关推荐

探究 | Elasticsearch CPU高排查思路
一.可能导致ES CPU高的原因: 1.复杂的query查询举例:我这边出现过200个组合wildcard query导致集群down掉的情况: 2.有大量的reindex操作 3.ES版本较低二 ...
Java代码-CPU占用过高排查思路
Java代码-CPU占用过高排查思路: 1.top 查看占用cpu过高的进程PID 2.top -Hbp 32048|awk '/java/ && $9>50' 查看进程中占用 ...
Kafka CPU使用率高排查思路及解决方案
一.CPU使用率高的一般排查思路 1) top命令排查CPU使用率高的进程 2) su - omm切换到omm用户,jstack -l 进程pid>>文件路径 3) top -H -p 进 ...
linux服务器 cpu使用率过高,服务器CPU使用率过高排查与解决思路
发现服务器的cpu使用率特别高排查思路: -使用top或者mpstat查看cpu的使用情况 mpstat -P ALL 2 1 Linux 2.6.32-358.el6.x86_64 (linux- ...
window服务器cpu过高的排查_服务器CPU使用率过高排查与解决思路
发现服务器的cpu使用率特别高排查思路: -使用top或者mpstat查看cpu的使用情况 mpstat -P ALL 2 1 Linux 2.6.32-358.el6.x86_64 (linux- ...
cpu飚高的排查思路
cpu的衡量指标使用率util:代表的是单位时间内CPU繁忙情况的统计.操作系统对cpu的管理就是利用周期的tick时钟中断,将cpu的使用划分时间片.每个时间片内去执行不同进程/线程里的代码.所以 ...
java cms cpu占用率_cpu使用率过高和jvm old占用过高排查过程
今天断断续续的收到管理平台的异常报警,cpu占用过高和jvm old占用过高,这个时候赶紧去排查原因,下面记录了我的排查过程,可能里面还有不正确的地方,欢迎各位大佬指正,也欢迎大家关于类似的案例一起交 ...
load average多少是正常_从阿里大促中，我理出的CPU与Load异常排查思路
前言大家都知道服务器在大促期间由于流量的增加势必导致机器的cpu与load变高,本文将与大家一起巩固cpu和load的概念,为今年各种大促做准备的同时也是增加自己的技能储备. 不过cpu和load这 ...
linux 使cpu使用率升高_Linux系统中CPU占用率较高问题排查思路与解决方法
Linux服务器上出现CPU负载达到100%居高不下的情况,如果CPU 持续跑高,则会影响业务系统的正常运行: CPU利用率.根据经验来看,用户空间进程占用CPU比例在 65-70%之间,内核(系统) ...

【Elasticsearch】Elasticsearch CPU高排查思路