在上一篇文章中，我们介绍了《大数据搜索与可视化分析(8)kibana入门教程-2-Discover》，本文学习elasticsearch聚合分析，是对《大数据搜索与可视化分析(3)elasticsearch查询进阶-2》中聚合函数的扩展。

首先举一个生活中的例子，如下图是京东的搜索界面，在搜索框中输入“华为”进行搜索，就会得到如图界面，搜索框就是我们常用的搜索功能，而下面这些，比如分类、热点、操作系统、CPU 类型等是根据 ES 的聚合分析获得的相关结果。

图片参考文章《Elasticsearch 之聚合分析入门 https://www.cnblogs.com/wupeixuan/p/12549336.html》

• 聚合的定义

ES 除了搜索以外，还提供针对 ES 数据进行统计分析的功能，也就是聚合，它的特点是实时性非常高，所有的计算结果都是即时返回的，而 Hadoop 等大数据系统得到一个统计结果需要一天的时间，一般都是 T + 1 级别的。

通过聚合，我们会得到一个数据的概览，是分析和总结全套的数据，而不是寻找单个文档，比如海淀区和东城区的客房数量，不同价格区间，可预订的经济型酒店和商务型酒店的数量，这样可以帮助我们过滤搜索的结果，这样的优点是性能高，只需要一条语句，就可以从 ES 得到分析结果，无需再客户端自己去实现分析逻辑。

在 ES 的聚合中主要一共分为四大类：

• Bucket Aggregation：分桶类型，一些列满足特定条件的文档的集合

• Metric Aggregation：指标分析类型，一些数学运算，可以对文档字段进行统计分析，比如计算最大值、最小值、平均值等

• Pipeline Aggregation：管道分析类型，对其他聚合结果进行二次聚合

• Matrix Aggregation：矩阵分析类型，支持对多个字段的操作并提供一个结果矩阵

• Metric Aggregation

Metric 是基于数据集计算的结果，除了支持在字段上进行计算，同样也支持在脚本产生的结果之上进行计算。Metric 主要分为单值分析和多值分析，具体内容如下：

• 单值分析，只输出一个分析结果：

• Min、Max、Avg、Sum

• Cardinality

其中，Min、Max、Avg、Sum 这些很容易理解，在这里说一下 Cardinality，它是指不同数值的个数，相当于 SQL 中的 distinct。

• 多值分析，输出多个分析结果：

• Stats、Extended Stats

• Percentiles、Percentile Ranks

• Top Hits

在进行聚合分析之前，首先插入样例数据

POST test_aggregation/_bulk{"index":{"_id":"1"}}{"username":"曹操","job":"主公","age":50,"birth":"1900-01-01","isMarried":true,"salary":100}{"index":{"_id":"2"}}{"username":"曹丕","job":"主公","age":28,"birth":"1980-05-07","isMarried":true,"salary":30}{"index":{"_id":"3"}}{"username":"荀彧","job":"军师","age":22,"birth":"1985-08-07","isMarried":false,"salary":15}{"index":{"_id":"4"}}{"username":"司马懿","job":"军师","age":23,"birth":"1989-08-07","isMarried":false,"salary":8}{"index":{"_id":"5"}}{"username":"典韦","job":"武士","age":18,"birth":"1994-08-07","isMarried":false,"salary":5}{"index":{"_id":"6"}}{"username":"许褚","job":"武士","age":26,"birth":"1987-08-07","isMarried":false,"salary":12}

单值分析的Min、Max、Avg、Sum四个聚合函数，已在《大数据搜索与可视化分析(3)elasticsearch查询进阶-2》文章中介绍，读者可自行点击查阅，本文从单值的Cardinality开始介绍。

• Cardinality

如我们对职业进行Cardinality聚合分析，通过前面插入的数据可以看到，去重后有三种职业，分别为主公，军师，武士，我们通过查询语句来看一下

GET test_aggregation/_search{  "aggs": {    "count_of_job": {      "cardinality": {        "field": "job.keyword"      }    }  }}

查询结果：

  "aggregations" : {    "count_of_job" : {      "value" : 3    }  }}

• Stats 

接下来看多值分析，前面提到过，Stats 是做多样的数据分析，可以一次性得到最大值、最小值、平均值、中值等数据，接下来我们来看看效果：

GET test_aggregation/_search{  "aggs": {    "stats_age": {      "stats": {        "field": "age"      }    }  }

执行结果：

aggregations" : {    "stats_age" : {      "count" : 6,      "min" : 18.0,      "max" : 50.0,      "avg" : 27.833333333333332,      "sum" : 167.0    }  }

• Extended Stats

Extended Stats 是对 Stats 的扩展，包含了更多的统计数据，比如方差、标准差等

GET test_aggregation/_search{  "aggs": {    "extended_stats_age": {      "extended_stats": {        "field": "age"      }    }  }}

执行结果：

"aggregations" : {    "extended_stats_age" : {      "count" : 6,      "min" : 18.0,      "max" : 50.0,      "avg" : 27.833333333333332,      "sum" : 167.0,      "sum_of_squares" : 5297.0,      "variance" : 108.13888888888884,      "std_deviation" : 10.39898499320433,      "std_deviation_bounds" : {        "upper" : 48.63130331974199,        "lower" : 7.035363346924672      }    }  }

• Percentiles 和 Percentile Ranks 

Percentiles 和 Percentile Ranks 是百分位数的一个统计

• Percentiles

GET test_aggregation/_search{  "aggs": {    "percentile_age": {      "percentiles": {        "field": "age"      }    }  }}

执行结果：

"aggregations" : {    "percentile_age" : {      "values" : {        "1.0" : 18.0,        "5.0" : 18.0,        "25.0" : 22.0,        "50.0" : 24.5,        "75.0" : 28.0,        "95.0" : 50.0,        "99.0" : 50.0      }    }  }

• Percentile Ranks

GET test_aggregation/_search{  "aggs": {    "percentile_ranks_ages": {      "percentile_ranks": {        "field": "age",        "values": [          18,          28        ]      }    }  }}

输出结果

"aggregations" : {    "percentile_ranks_ages" : {      "values" : {        "18.0" : 8.333333333333332,        "28.0" : 68.05555555555554      }    }  }

• top_hits

Top Hits 一般用于分桶后获取桶内最匹配的顶部文档列表，即详情数据。

GET test_aggregation/_search{  "size": 0,  "aggs": {    "jobs": {      "terms": {        "field": "job.keyword",        "size": 10      },      "aggs": {        "top_employee": {          "top_hits": {            "size": 10,            "sort": [              {                "age": {                  "order": "desc"                }              }              ]          }        }      }    }  }}

部分输出结果

{          "key" : "主公",          "doc_count" : 2,          "top_employee" : {            "hits" : {              "total" : {                "value" : 2,                "relation" : "eq"              },              "max_score" : null,              "hits" : [                {                  "_index" : "test_aggregation",                  "_type" : "_doc",                  "_id" : "1",                  "_score" : null,                  "_source" : {                    "username" : "曹操",                    "job" : "主公",                    "age" : 50,                    "birth" : "1900-01-01",                    "isMarried" : true,                    "salary" : 100                  },                  "sort" : [                    50                  ]                },                {                  "_index" : "test_aggregation",                  "_type" : "_doc",                  "_id" : "2",                  "_score" : null,                  "_source" : {                    "username" : "曹丕",                    "job" : "主公",                    "age" : 28,                    "birth" : "1980-05-07",                    "isMarried" : true,                    "salary" : 30                  },                  "sort" : [                    28                  ]                }              ]            }          }        }

更多大数据搜索与可视化分析讲解，可点击原文查看。