概述

继续跟中华石杉老师学习ES，第47篇

课程地址： https://www.roncoo.com/view/55

官方说明

Cardinality Aggregation：戳这里

precision_threshold优化准确率和内存开销

原始数据：

统计下有多少个不同的品牌

DSL:

GET /tvs/sales/_search
{"size" : 0,"aggs" : {"distinct_brand" : {"cardinality" : {"field" : "brand","precision_threshold" : 100 }}}
}

注意下 "precision_threshold" : 100 的意思是： brand去重，如果brand的unique value，在100个以内，小米，长虹，三星，TCL，HTL。。。在多少个unique value以内，cardinality，几乎保证100%准确。

cardinality算法，会占用precision_threshold * 8 byte 内存消耗，100 * 8 = 800个字节占用内存很小。。。而且unique value如果的确在值以内，那么可以确保100%准确

precision_threshold，值设置的越大，占用内存越大，假设设置 1000，那么1000 * 8 = 8000 / 1000 = 8KB，可以确保更多unique value的场景下，100%的准确

field，去重，count，这时候，unique value，10000， precision_threshold=10000，10000 * 8 = 80000个byte，80KB

HyperLogLog++ (HLL)算法性能优化

cardinality底层算法：HLL算法，HLL算法的性能会对所有的uqniue value取hash值，通过hash值近似去求distcint count，存在误差 .

默认情况下，发送一个cardinality请求的时候，会动态地对所有的field value，取hash值;

优化的话：将取hash值的操作，前移到建立索引的时候，如下

PUT /tvs/
{"mappings": {"sales": {"properties": {"brand": {"type": "text","fields": {"hash": {"type": "murmur3" }}}}}}
}

这样在执行同样的查询的话，就不会在请求的时候执行hash值了。

GET /tvs/sales/_search
{"size" : 0,"aggs" : {"distinct_brand" : {"cardinality" : {"field" : "brand.hash","precision_threshold" : 100 }}}
}

白话Elasticsearch47-深入聚合数据分析之Cardinality Aggs-cardinality算法之优化内存开销以及HLL算法相关推荐

49深入聚合数据分析_cardinality算法之优化内存开销以及HLL算法
cardinality=count(distinct),5%的错误率,性能在100ms左右,如何对cardinality进行优化呢? 1.precision_threshold优化准确率和内存开销 G ...
ElasticSearch教程——cardinality（去重）算法之优化内存开销以及HLL算法
ElasticSearch汇总请查看:ElasticSearch教程--汇总篇说明,一般使用第一种和第二种方法,很少使用第三种HLL优化(效果不是特别明显) 1.cardinality语法 es,去 ...
ElasticSearch cardinality基数算法优化内存开销及HLL算法
2019独角兽企业重金招聘Python工程师标准>>> cardinality 可用于聚合函数,可计算某个字段的基数,即该字段的distinct值,它基于HLL算法来实现的.HHL会 ...
白话Elasticsearch37-深入聚合数据分析之案例实战Date Histogram Aggregation：统计每月电视销量
文章目录概述官方说明实例: 统计每月电视销量,没有销量的月份也要统计概述继续跟中华石杉老师学习ES,第37篇课程地址: https://www.roncoo.com/view/55 官方说 ...
白话Elasticsearch34-深入聚合数据分析之案例实战bucket嵌套实现颜色+品牌的多层下钻分析
文章目录概述案例需求解决 Step1.对每种颜色进行bucket分组 Step2.对每种颜色进行bucket分组 , 然后对每个分组再次计算平均价格 Step3.对每种颜色进行bucket分组 ...
白话Elasticsearch33-深入聚合数据分析之案例实战bucket + metrics 统计每种颜色电视平均价格
文章目录概述官方说明Avg Aggregation 案例:统计每种颜色电视平均价格概述继续跟中华石杉老师学习ES,第33篇课程地址: https://www.roncoo.com/view/ ...
白话Elasticsearch51-深入聚合数据分析之text field聚合以及fielddata原理
文章目录概述官网示例对于分词的field执行aggregation,报错给分词的field,设置fielddata=true,可执行使用field.keyword,对分词的field进行聚 ...
白话Elasticsearch46-深入聚合数据分析之Cardinality Aggs-cardinality去重算法以及每月销售品牌数量统计
文章目录概述官方说明示例概述继续跟中华石杉老师学习ES,第46篇课程地址: https://www.roncoo.com/view/55 官方说明 Cardinality Aggregat ...
白话Elasticsearch32-深入聚合数据分析之案例实战Terms Aggs 统计哪种颜色电视销量最高
文章目录概述 Terms Aggregation官方文档案例一 : 统计哪种颜色电视销量最高模拟数据统计哪种颜色的电视销量最高 size 参数示例外层size terms节点下的size ...

白话Elasticsearch47-深入聚合数据分析之Cardinality Aggs-cardinality算法之优化内存开销以及HLL算法

文章目录

概述

官方说明

precision_threshold优化准确率和内存开销

HyperLogLog++ (HLL)算法性能优化

白话Elasticsearch47-深入聚合数据分析之Cardinality Aggs-cardinality算法之优化内存开销以及HLL算法相关推荐

最新文章

热门文章