ElasticSearch 2 (38) - 信息聚合系列之结束与思考

摘要

版本

elasticsearch版本: elasticsearch-2.x

内容

本小节涵盖了许多基本理论以及很多深入的技术问题。聚合给 Elasticsearch 带来了难以言喻的强大能力和灵活性。桶与度量的嵌套能力，基数与百分位数的快速估算能力，定位信息中统计异常的能力，所有的这些都在近乎实时的情况下操作的，而且全文搜索是并行的，它们改变了很多组织和企业的游戏规则。

事情通常是一旦我们开始使用它，我们就能找到很多其他的可用场景。实时报表与分析对于很多组织来说都是核心功能（它远不止商业智能或服务器日志那么简单）。

能力越大责任也越大，对于 Elasticsearch 就是意味着内存适当的管理。在 Elasticsearch 中内存通常是个限制因素，特别是那些高度使用聚合的节点。因为聚合数据都被加载到 fielddata 中，这是一个内存数据结构，所以对内存使用的高效管理至关重要。

内存的管理形式可以有多种形式，这取决于我们特定的应用场景：

在数据层，确保合理的 analyze（或 not_analyze）分析数据从而友好的利用内存。
在索引时，对于内容很多的字段使用磁盘存储文档而不是内存里的 fielddata。
在搜索时，合理利用近似聚合和数据过滤。
在节点层，设置硬内存大小以及动态的断熔限制。
在操作层，监控内存使用情况并控制缓慢的内存回收周期，可以给集群增加更多节点。

大多数实施会应用到以上一种或几种方法。确切的组合方式与我们特定的系统环境高度相关。有些组织需要强劲的响应能力所以只是简单地选择增加更多节点。有的组织受限于预算，会选择使用文档值和近似聚合。

无论采取何种方式，对于现有的选择进行评估十分重要，并同时创建短期和长期计划。先决定当前内存的使用情况和需要做的事情（如果有），再决定未来六个月到一年数据会如何增长，使用何种方式来扩展？

最好在建立集群之前就计划好这些内容，而不是在我们集群堆内存使用 90% 的时候再临时抱佛脚。

参考

elastic.co:
Closing Thoughts

ElasticSearch 2 (38) - 信息聚合系列之结束与思考相关推荐

ElasticSearch 2 (37) - 信息聚合系列之内存与延时
ElasticSearch 2 (37) - 信息聚合系列之内存与延时摘要控制内存使用与延时版本 elasticsearch版本: elasticsearch-2.x 内容 Fielddata ...
ElasticSearch 2 (27) - 信息聚合系列之故事开始
ElasticSearch 2 (27) - 信息聚合系列之故事开始摘要到目前为止,本书都在着重介绍搜索.对于搜索,我们有查询条件以及与查找到与条件匹配的集合.这个过程就和如大海捞针一样. 对于聚 ...
ElasticSearch 2 (34) - 信息聚合系列之多值排序
ElasticSearch 2 (34) - 信息聚合系列之多值排序摘要多值桶(terms.histogram 和 date_histogram)动态生成很多桶,Elasticsearch 是如何 ...
ElasticSearch 2 (36) - 信息聚合系列之显著项
ElasticSearch 2 (36) - 信息聚合系列之显著项摘要 significant_terms(SigTerms)聚合与其他聚合都不相同.目前为止我们看到的所有聚合在本质上都是简单的数学 ...
ElasticSearch 2 (21) - 语言处理系列之单词识别
ElasticSearch 2 (21) - 语言处理系列之单词识别摘要一个英语单词相对容易识别:因为英语单词是被空格或(某些)标点符号隔开的.但在英语中也有反例:you're 这个词是一个单词还 ...
【ElasticSearch从入门到放弃系列零】ElasticSearch看这一篇就够了
大数据时代系统和业务每分每秒都产生成千上万的数据,其存储一定是不能通过关系型数据库了,当然因为数据的持久性也不能存储到内存型Nosql数据库Redis中,我们通常会将这些数据存储在能够不丢失数据的非关 ...
ElasticSearch 2 (26) - 语言处理系列之打字或拼写错误
ElasticSearch 2 (26) - 语言处理系列之打字或拼写错误摘要我们喜欢在对结构化数据(如:日期和价格)做查询时,结果只返回那些能精确匹配的文档.但是,好的全文搜索不应该有这样的限制 ...
ElasticSearch 2 (20) - 语言处理系列之如何开始
ElasticSearch 2 (20) - 语言处理系列之如何开始摘要 Elasticsearch 配备了一组语言分析器,为世界上大多数常见的语言提供良好的现成基础支持. 阿拉伯语.亚美尼亚语,巴 ...
ElasticSearch 2 (16) - 深入搜索系列之近似度匹配
ElasticSearch 2 (16) - 深入搜索系列之近似度匹配摘要标准的全文搜索使用TF/IDF处理文档.文档里的每个字段或一袋子词.match 查询可以告诉我们哪个袋子里面包含我们搜索的 ...

ElasticSearch 2 (38) - 信息聚合系列之结束与思考

ElasticSearch 2 (38) - 信息聚合系列之结束与思考

摘要

版本

内容

参考

ElasticSearch 2 (38) - 信息聚合系列之结束与思考相关推荐

最新文章

热门文章