ElasticSearch java API - 聚合查询-聚合多字段聚合demo
以球员信息为例,player索引的player type包含5个字段,姓名,年龄,薪水,球队,场上位置。
index的mapping为:
"mappings": {"player": {"properties": {"name": {"index": "not_analyzed","type": "string"},"age": {"type": "integer"},"salary": {"type": "integer"},"team": {"index": "not_analyzed","type": "string"},"position": {"index": "not_analyzed","type": "string"}},"_all": {"enabled": false}}
}
索引中的全部数据:
首先,初始化Builder:
SearchRequestBuilder sbuilder = client.prepareSearch("player").setTypes("player");
接下来举例说明各种聚合操作的实现方法,因为在es的api中,多字段上的聚合操作需要用到子聚合(subAggregation),初学者可能找不到方法(网上资料比较少,笔者在这个问题上折腾了两天,最后度了源码才彻底搞清楚T_T),后边会特意说明多字段聚合的实现方法。另外,聚合后的排序也会单独说明。
group by/count
例如要计算每个球队的球员数,如果使用SQL语句,应表达如下:
select team, count(*) as player_count from player group by team;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
sbuilder.addAggregation(teamAgg);
SearchResponse response = sbuilder.execute().actionGet();
group by多个field
例如要计算每个球队每个位置的球员数,如果使用SQL语句,应表达如下:
select team, position, count(*) as pos_count from player group by team, position;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
TermsBuilder posAgg= AggregationBuilders.terms("pos_count").field("position");
sbuilder.addAggregation(teamAgg.subAggregation(posAgg));
SearchResponse response = sbuilder.execute().actionGet();
max/min/sum/avg
例如要计算每个球队年龄最大/最小/总/平均的球员年龄,如果使用SQL语句,应表达如下:
select team, max(age) as max_age from player group by team;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
MaxBuilder ageAgg= AggregationBuilders.max("max_age").field("age");
sbuilder.addAggregation(teamAgg.subAggregation(ageAgg));
SearchResponse response = sbuilder.execute().actionGet();
对多个field求max/min/sum/avg
例如要计算每个球队球员的平均年龄,同时又要计算总年薪,如果使用SQL语句,应表达如下:
select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("team");
AvgBuilder ageAgg= AggregationBuilders.avg("avg_age").field("age");
SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");
sbuilder.addAggregation(teamAgg.subAggregation(ageAgg).subAggregation(salaryAgg));
SearchResponse response = sbuilder.execute().actionGet();
聚合后对Aggregation结果排序
例如要计算每个球队总年薪,并按照总年薪倒序排列,如果使用SQL语句,应表达如下:
select team, sum(salary) as total_salary from player group by team order by total_salary desc;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("team").order(Order.aggregation("total_salary ", false);
SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");
sbuilder.addAggregation(teamAgg.subAggregation(salaryAgg));
SearchResponse response = sbuilder.execute().actionGet();
需要特别注意的是,排序是在TermAggregation处执行的,Order.aggregation函数的第一个参数是aggregation的名字,第二个参数是boolean型,true表示正序,false表示倒序。
Aggregation结果条数的问题
默认情况下,search执行后,仅返回10条聚合结果,如果想反悔更多的结果,需要在构建TermsBuilder 时指定size:
TermsBuilder teamAgg= AggregationBuilders.terms("team").size(15);
Aggregation结果的解析/输出
得到response后:
Map<String, Aggregation> aggMap = response.getAggregations().asMap();
StringTerms teamAgg= (StringTerms) aggMap.get("keywordAgg");
Iterator<Bucket> teamBucketIt = teamAgg.getBuckets().iterator();
while (teamBucketIt .hasNext()) {
Bucket buck = teamBucketIt .next();
//球队名
String team = buck.getKey();
//记录数
long count = buck.getDocCount();
//得到所有子聚合
Map subaggmap = buck.getAggregations().asMap();
//avg值获取方法
double avg_age= ((InternalAvg) subaggmap.get("avg_age")).getValue();
//sum值获取方法
double total_salary = ((InternalSum) subaggmap.get("total_salary")).getValue();
//...
//max/min以此类推
}
总结
综上,聚合操作主要是调用了SearchRequestBuilder的addAggregation方法,通常是传入一个TermsBuilder,子聚合调用TermsBuilder的subAggregation方法,可以添加的子聚合有TermsBuilder、SumBuilder、AvgBuilder、MaxBuilder、MinBuilder等常见的聚合操作。
从实现上来讲,SearchRequestBuilder在内部保持了一个私有的 SearchSourceBuilder实例, SearchSourceBuilder内部包含一个List<AbstractAggregationBuilder>,每次调用addAggregation时会调用 SearchSourceBuilder实例,添加一个AggregationBuilder。
同样的,TermsBuilder也在内部保持了一个List<AbstractAggregationBuilder>,调用addAggregation方法(来自父类addAggregation)时会添加一个AggregationBuilder。有兴趣的读者也可以阅读源码的实现。
如果有什么问题,欢迎一起讨论,如果文中有什么错误,欢迎批评指正。
注:文中使用的Elastic Search API版本为2.3.2
public List<Map<String, Object>> queryAggregationsByAttr(BoolQueryBuilder boolQueryBld){List<Map<String, Object>> result = new ArrayList<>(); NestedBuilder nestedBuilder= AggregationBuilders.nested("negstedAttr").path("spuAttrList"); //属性名称分组TermsBuilder tbName= AggregationBuilders.terms("attrNameAgg").field("spuAttrList.name"); //嵌套查询的子查询中分组count TermsBuilder tb= AggregationBuilders.terms("attrvIdAgg").field("spuAttrList.attrvId"); //属性值字段TermsBuilder tbVal= AggregationBuilders.terms("attrValAgg").field("spuAttrList.value"); NestedBuilder all = nestedBuilder.subAggregation(tbName.subAggregation(tb.subAggregation(tbVal)));NativeSearchQueryBuilder nativeQueryBuilderAgg = new NativeSearchQueryBuilder().withQuery(boolQueryBld).withIndices("skus").withTypes("skus").addAggregation(all);SearchQuery searchQueryAgg = nativeQueryBuilderAgg.build();Aggregations aggregations = elasticsearchTemplate.query(searchQueryAgg, new ResultsExtractor<Aggregations>() { @Override public Aggregations extract(SearchResponse response) { return response.getAggregations(); } }); Map<String, Aggregation> map=aggregations.asMap(); for(String s:map.keySet()){ if("negstedAttr".equals(s)) {InternalNested internalNested = (InternalNested)map.get(s);//属性名称StringTerms nameTerms=(StringTerms) internalNested.getAggregations().get("attrNameAgg");//属性子表idfor(org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket tbket:nameTerms.getBuckets()){//对应一组属性值Map<String, Object> categoryIdsMapTerms = new HashMap<String, Object>();categoryIdsMapTerms.put("typeId", "attrValueIds");categoryIdsMapTerms.put("typeName", tbket.getKeyAsString());LongTerms attrvIdTerms=(LongTerms)tbket.getAggregations().asMap().get("attrvIdAgg");if(attrvIdTerms == null || CollectionUtils.isEmpty(attrvIdTerms.getBuckets())) {continue;}List<Map<String, Object>> dataList = new ArrayList<>();//属性子表valfor(org.elasticsearch.search.aggregations.bucket.terms.Terms.Bucket attrIdB : attrvIdTerms.getBuckets()) {//dataListMapMap<String, Object> dataListMap = new HashMap<String, Object>();Long attrvId = (Long) attrIdB.getKeyAsNumber();StringTerms valTerms=(StringTerms) attrIdB.getAggregations().asMap().get("attrValAgg");if(valTerms == null || CollectionUtils.isEmpty(valTerms.getBuckets())) {continue;}String attrValStr = valTerms.getBuckets().get(0).getKeyAsString();dataListMap.put("id", attrvId);dataListMap.put("name", attrValStr);dataList.add(dataListMap);}if(!CollectionUtils.isEmpty(dataList)) {categoryIdsMapTerms.put("dataList", dataList);}result.add(categoryIdsMapTerms);}}} return result; }
转载于:https://my.oschina.net/xiaominmin/blog/1845353
http://www.taodudu.cc/news/show-4343995.html
相关文章:
- android德地图点聚合,点聚合-点标记-示例中心-JS API 示例 | 高德地图API
- ES聚合Aggregation---原生(restful)api
- 实时搜索引擎Elasticsearch(4)——Aggregations (聚合)API的使用
- 印制板通孔板、盲埋孔板及一阶、二阶板的区别
- Allegro通孔焊盘制作
- allegro制作通孔焊盘封装-flash热风焊盘-图文并茂的Allegro 通孔焊盘制作教程
- Allegro PCB -通孔焊盘制作 及Flash制作
- idea列模式按列选取代码或按行选取代码快捷键
- Halcon入门(1)——选取ROI区域
- pandas选取数据方法
- Python,pandas中DataFrame的选取总结
- 小波自适应阈值选取python_小波去噪阈值如何选取_小波阈值分析 - 全文
- Matlab 矩阵计算元素选取方法
- python中Pandas之DataFrame索引、选取数据
- teamview服务器无响应,排查TeamViewer连接不上的2个可能原因及解决策略
- 实测!Ubuntu18.04解决Teamview检测为商用问题
- teamview 解除限制使用时间方法(判断长时间使用 会限制使用时间)
- TeamView: 为了进一步增强安全性,在发起连接之前,我们希望您先验证您的账户
- U盘格式化
- SpringBoot项目网页加载出现Whitelabel Error Page
- springboot项目启动出现Whitelabel Error Page
- history路由下,Whitelabel Error Page错误
- (2022年12月最新)SpringBoot远程代码执行whitelabel error page SpEL RCE漏洞复现
- 处理Whitelabel Error Page
- 多个jar合并成一个jar(复制的)
- 多个txt合并成一个txt(简单易操作)
- Java 多文件夹合并
- excel如何把多张表合并成一个表_如何快速把多个excel表格合并成一个excel表
- 【Python】多个文件夹合并到一个文件夹中
- 【UE4】pawn 和 Character 的区别
ElasticSearch java API - 聚合查询-聚合多字段聚合demo相关推荐
- Elasticsearch Java API 分组、聚合、嵌套相关查询
Elasticsearch Java API 分组.聚合.嵌套相关查询 翼支付监控系统正使用es做后端存储,这边我们是将日志计算处理过后的数据通过kafka储存到es.选择用es作为数据储存端是考虑到 ...
- Elasticsearch8.0版本中Elasticsearch Java API Client客户端的基本使用方法
关于Elasticsearch Java API Client客户端如何连接以及如何对索引和文档进行基本的增删改查操作请查看我的上一篇博文:Elasticsearch RestHighLevelCli ...
- Elasticsearch Java API 很全的整理以及架构剖析
Elasticsearch 的API 分为 REST Client API(http请求形式)以及 transportClient API两种.相比来说transportClient API效率更高, ...
- ElasticSearch Java Api(四) -删除索引
删除可以是删除整个索引库,也可以根据文档id删除索引库下的文档,还可以通过query查询条件删除所有符合条件的数据. 一.删除整个索引库 下面的例子会删除indexName索引: DeleteInde ...
- Elasticsearch Java API四种实现方式
0.题记 之前Elasticsearch的应用比较多,但大多集中在关系型.非关系型数据库与Elasticsearch之间的同步.以上内容完成了Elasticsearch所需要的基础数据量的供给.但想要 ...
- Elasticsearch RestHighLevelClient 已标记为被弃用 它的替代方案 Elasticsearch Java API Client 的基础教程及迁移方案
在Elasticsearch7.15版本之后,Elasticsearch官方将它的高级客户端RestHighLevelClient标记为弃用状态.同时推出了全新的Java API客户端Elastics ...
- SpringBoot整合最新Elasticsearch Java API Client 7.16教程
文章目录 前言 一.Elasticsearch和Kibana 7.16版本安装 二.pom.xml文件引入依赖 三.代码实例 总结 前言 最新在学习SpringBoot整合es的一些知识,浏览了网上的 ...
- Elasticsearch Java API 6.2(java client)
前言 本节描述了Elasticsearch提供的Java API,所有的Elasticsearch操作都使用客户端对象执行,所有操作本质上都是完全异步的(要么接收监听器,要么未来返回). 此外,客户端 ...
- ElasticSearch Java Api(一) -创建索引
ElasticSearch Java API官网文档:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/jav ...
最新文章
- 006-spring cache-缓存实现-01-原生实现
- JPA_could not extract ResultSet问题解决
- .Net之美读书笔记17
- python第五次作业——陈灵院
- window server 安装与卸载
- 【CodeForces - 1105C】Ayoub and Lost Array(线性计数dp)
- android工程师饱和,Android开发是否饱和了?你所不了解的Android开发
- 红杉千万美元投资壁虎烘热游戏内置广告
- cent os 7 mysql_centos – 百胜:Cent OS 7中没有包mysql-server
- json解析库go-simplejson使用
- centos7初始化脚本
- JSP教程第2讲笔记
- 计算机组成原理——总线
- Qt视频直播软件--项目实战(Day6)
- 高速系统设计自学笔记——信号完整性6
- Boss直聘招聘信息爬取
- 情态动词+have+done用法整理
- java内置监视管理控制台
- 法拉第PK特斯拉,美产与国产谁能取胜?
- 【大咖有约】白帽汇邓焕:大数据下的攻防