Elasticsearch中flattened字段类型

为了优化索引性能，需要统计索引的字段数量。
Elasticsearch默认索引字段不能超过1000，由index.mapping.total_fields.limit参数进行设置。字段和对象映射，以及字段别名都计入这个限制。该值越大会导致内存不足和性能下降，特别在高负载的集群环境。

实际应用mapping定义通常采用动态模板进行定义，那么如何统计索引中字段数量，以及如何解决字段数超过限制问题。

统计索引中字段数量

ES没有提供_stat统计字段API，下面介绍字段能力API,可以返回多个索引的字段信息：

GET /_field_caps?fields=<fields>POST /_field_caps?fields=<fields>GET /<target>/_field_caps?fields=<fields>POST /<target>/_field_caps?fields=<fields>

下面示例查看字段rating和title信息:

GET _field_caps?fields=rating,title

响应：

{"indices": [ "index1", "index2", "index3", "index4", "index5" ],"fields": {"rating": {                                   "long": {"searchable": true,"aggregatable": false,"indices": [ "index1", "index2" ],"non_aggregatable_indices": [ "index1" ]  },"keyword": {"searchable": false,"aggregatable": true,"indices": [ "index3", "index4" ],"non_searchable_indices": [ "index4" ]    }},"title": {                                    "text": {"searchable": true,"aggregatable": false}}}
}

共5个索引，返回每个字段所属那些索引及其类型。如title在所有索引中都存在。

查询某个索引的字段信息,同时包括未映射的字段：

GET /index_name/_field_caps?fields=*&include_unmapped

超过字段数量限制

自然的想法是能不能调大index.mapping.total_fields.limit参数，如果要调大，最好同时调整indices.query.bool.max_clause_count参数，即查找中布尔查询子句的最大数量。

使用flattened数据类型

对于对象中的子字段默认被单独映射、索引。扁平字段类型是解决字段过多问题的另一种方法，它把整个对象映射未单个字段。给定对象，flattened 类型解析出每个子字段值作为keyword类型，对象中的内容可以通过单个查询进行搜索或聚集。对于唯一字段类型未知的情况非常有用，对于真个json对象仅创建一个映射字段，可以有效防止映射有太多的字段————映射爆炸。

另外扁平对象字段在搜索功能方面提供了一种折衷方案。只允许基本查询，不支持数字范围查询或高亮显示。

示例：

PUT bug_reports
{"mappings": {"properties": {"title": {"type": "text"},"labels": {"type": "flattened"}}}
}POST bug_reports/_doc/1
{"title": "Results are not sorted correctly.","labels": {"priority": "urgent","release": ["v1.2.5", "v1.3.0"],"timestamp": {"created": 1541458026,"closed": 1541457010}}
}POST bug_reports/_doc/2
{"title": "Results are not descripted correctly.","labels": {"priority": "urgent","release": ["v1.3.5", "v1.4.0"],"creator": "tester","timestamp": {"created": 1541458026,"closed": 1541457010}}
}

这里定义了flattened类型labels字段，实际插入数据未对象，可以包括多个属性。