1.概述

当我们使用Elasticsearch查询数据时，如果数据量非常大时，会命中大量分片中的大量数据，可能会造成集群内存异常，此时可以通过一个高级参数batched_reduce_size进行控制。使用方法如下：

GET user_order/_search?q=user:kimchy&batched_reduce_size=256

或者：

POST  /user_order/_search
{"query" : {"term" : { "user" : "kimchy"}"batched_reduce_size":256}
}

关于batched_reduce_size参数，官网英文的解释：

(Optional, integer) The number of shard results that should be reduced at once on the coordinating node. This value should be used as a protection mechanism to reduce the memory overhead per search request if the potential number of shards in the request can be large.

如果对Elasticsearch的原理没有一定的理解，这段英文理解起来有点困难。batched_reduce_size具体的用途和含义如下：

此参数用来限制协调节点（也就是接受请求的节点）一次（批）处理的分片数量，如果命中的分片数量大于此参数值，则会分批执行，默认值为512。如果请求中潜在的分片数量很大，则应将此值用作保护机制，以减少每个搜索请求的内存开销。

比如做一个count处理，10亿条数据，如果10亿条数据都汇总到一台机器做计算，那么肯定会OOM，因此，假设每个分片每次只来1万条数据，计算完后，再次拉取数据，那么逐渐达到10亿条数据，那么就能保证机器内存在一定范围内，不至于OOM.

原文链接：https://blog.csdn.net/zhaojianting/article/details/103276326

【Elasticsearch】Elasticsearch查询参数batched_reduce_size的解释相关推荐

Elasticsearch _search查询参数及过滤
笔记源自 : Elastic 中国社区官方博客文章目录 GET /_search 简单搜索 Ids 指定Id值查询 Prefix 以特定前缀开头 Term 精确匹配值 Terms多字段匹配 Term ...
Elasticsearch查询参数介绍
因为项目需要调用api查询elasticsearch拿数据,这边记录一下项目中常用的一些查询参数 es的查询接口为: GET /索引名/_search python调用data为需要传入的参数impo ...
elasticsearch高级查询进阶
文章目录前期准备应用场景 1.constant_score查询-不考虑文档频率得分,与搜索关键字命中更多的返回结果 2.sort排序-分数相同情况下,按照指定价格域排序 3.不考虑文档频率TF/I ...
ElasticSearch 高级查询语法
ElasticSearch 高级查询语法Query DSL ES倒排索引 ES高级查询Query DSL 查询所有 match_all 分页查询form 深分页查询Scroll 指定字段排序sort ...
elasticsearch 分页查询实现方案——Top K+归并排序
elasticsearch 分页查询实现方案 1. from+size 实现分页 from表示从第几行开始,size表示查询多少条文档.from默认为0,size默认为10, 注意:size的大小不能 ...
Elasticsearch聚合查询案例分享
为什么80%的码农都做不了架构师?>>> Elasticsearch聚合查询案例分享 1.案例介绍本文包含三个案例: 案例1:统计特定时间范围内每个应用的总访问量.访问成功数 ...
elasticsearch in查询_Python Elasticsearch DSL 查询、过滤、聚合操作实例
技术博客: https://github.com/yongxinz/tech-blog 同时,也欢迎关注我的微信公众号 AlwaysBeta,更多精彩内容等你来. Elasticsearch 基本概念 ...
elasticsearch 的查询 /_nodes/stats 各字段意思
/_nodes/stats 字段意思 "" 1 { 2 "_nodes": {3 "total": 1, 4 "success ...
Elasticsearch高级查询2：ES 高级查询
一.高级查询 1.简介 Elasticsearch基于JSON提供完整的查询DSL(Domain Specific Language:领域特定语言)来定义查询. 基本语法: GET /索引名/类型名/ ...

【Elasticsearch】Elasticsearch查询参数batched_reduce_size的解释

1.概述

【Elasticsearch】Elasticsearch查询参数batched_reduce_size的解释相关推荐

最新文章

热门文章