1.概述

转载：Elasticsearch6.X 去重详解

1、题记

Elasticsearch有没有类似mysql的distinct的去重功能呢？

1）如何去重计数？
类似mysql: select distinct(count(1)) from my_table;
2）如何获取去重结果。
类似mysql：SELECT DISTINCT name,age FROM users;

2、需求

1）对ES的检索结果进行去重统计计数。
2）对ES的检索结果去重后显示

3、分析

1）统计计数需要借助ES聚合功能结合cardinality实现。
2）去重显示结果有两种方式：
方式一：使用字段聚合+top_hots聚合方式。
方式二：使用collapse折叠功能。

4、DSL源码

1）统计去重数目。

GET books/_search
{"size": 0,"aggs": {"books_count": {"cardinality": {"field": "title.keyword"}}}
}

2）返回去重内容
方式一：top_hits聚合

GET books/_search
{"query": {"match_all": {}},"aggs": {"type": {"terms": {"field": "title.keyword","size": 10},"aggs": {"title_top": {"top_hits": {"_source": {"includes": ["title"]},"sort": [{"title.keyword": {"order": "desc"}}],"size": 1}}}}},"size": 0
}

方式二：折叠

GET books/_search
{
"query": {
"match_all":{}
},
"collapse": {
"field": "title.keyword"
}
}

方式二较方式一：
1）简化；
2）性能比aggs的实现要好很多。
更多DSL详见：http://t.cn/RmafXMJ

5、注意事项&小结
1、折叠功能ES5.3版本之后才发布的。
2、聚合&折叠只能针对keyword类型有效；
3、只要思想不滑坡，方案总比问题多！

【Elasticsearch】es 查询去重相关推荐

【236期】ElasticSearch 进阶：一文全览各种 ES 查询在 Java 中的实现
点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜,留言必回,有问必答! 每天 08:15 更新文章,每天进步一点点... ...
ElasticSearch进阶：一文全览各种ES查询在Java中的实现
ElasticSearch多种查询操作前言 1 词条查询 1.1 等值查询-term 1.2 多值查询-terms 1.3 范围查询-range 1.4 前缀查询-prefix 1.5 通配符查询- ...
es查询语句拼接 java_JAVA使用ElasticSearch查询in和not in的实现方式
JAVA使用ElasticSearch查询in和not in的实现方式发布时间:2020-08-22 16:03:11 来源:脚本之家阅读:119 作者:执笔记忆的空白 ElasticSearch ...
ElasticSearch 6.3版本(ES)查询人名关键字不拆词查询
ElasticSearch 6.3版本(ES)查询关键字不拆词查询:类似mysql 的 like 语句. mysql的sql语法类似如下,采用大量like和locate语法,进行模糊查询,导致查询一个 ...
ES 查询示例搜索分组去重分页排序
es 查询示例搜索分组去重分页排序 java 语句 @Autowiredprivate static RestHighLevelClient client;@PostConstructpub ...
ElasticSearch(ES)中的分片查询方式
原文地址:http://www.bubuko.com/infodetail-836737.html Es查询的时候默认是随机从一些分片中查询数据,可以通过配置让es从某些分片中查询数据 1:_loca ...
【Elasticsearch】ES查询不等于的实现方式比较 must_not NOT 不等于
前言在我们ES的日常使用中,需要根据业务去筛选不等于某一个数值或者字符串的查询,下面我将列出几种实现方式,并比较优缺点,给大家参考. 查询 must_not must_not和must.filter ...
java使用ElasticSearch的scroll查询，高效的解决es查询数量的限制。
java使用ElasticSearch的scroll查询,高效的解决es查询数量的限制. 一.为什么要使用ES的scroll (1)首先我们要明白es的查询机制:ES的搜索是分2个阶段进行的,即Que ...
elasticsearch 条件去重_Elasticsearch学习之查询去重
1. 实现查询去重.分页,例如:实现依据qid去重,createTime排序,命令行为: GET /nb_luban_answer/_search {"query": {" ...

【Elasticsearch】es 查询去重

1.概述

1、题记

2、需求

3、分析

4、DSL源码

【Elasticsearch】es 查询去重相关推荐

最新文章

热门文章

【Elasticsearch】es 查询 去重

1.概述

1、题记

2、需求

3、分析

4、DSL源码

【Elasticsearch】es 查询 去重相关推荐

最新文章

热门文章

【Elasticsearch】es 查询去重

【Elasticsearch】es 查询去重相关推荐