ES中的RollUp概念

在最新的ES中出现了一个X特性，卷数据（Data Rollup，不知道如何翻译，姑且这么称呼吧）。这个卷数据是个什么概念呢？

如果做过监控（monitoring）的都知道，监控实际上是个大数据问题，这些”大“之一就是大量：一个复杂的系统可能每天面临上TB的原始数据；虽然监控系统所用的数据库都会有一些高效的压缩功能，但最终磁盘上存储的量仍然会按每天数十数百G增加。因此监控系统中数据的存留时间和策略（retention period & policy）始终是个核心问题。正是为了更好的解决这个问题，ES提出了卷数据这个概念（新瓶装老酒了）：把超过指定时间段的数据按预定的方式进行聚合，从而在一个更粗的粒度下能提供更长时间的数据存留以供查询和处理。被卷处理后的数据可以根据实际情况被放到更低成本的存储中以供不时之需或直接抛弃（当然也就从ES的index中去掉了）。

ES的卷数据有如下一些重要特征

卷数据的生成使用的是ES查询的标准语法，这个降低了卷数据的生成和维护难度（用户不用单独学习特殊的语法和语义来完成这个了）。
卷数据可以同时和当前活跃（live）数据进行查询。ES会把聚合的数据存放到一个独立的索引（index）中，在查询时当前活跃数据的索引和这个卷数据的索引都会被访问并自动返回合并后的查询结果。比如如果我们把一个月前的数据进行卷数据处理，ES的查询会同时参照卷数据和最近一个月的数据返回一个完整的查询结果（即：如果我们查询最近三个月的数据，最近的一个月数据会来自于活跃数据，而前两个月的数据则来自于卷数据）。
卷数据的查询时间间隔粒度是可变的：我们在生成卷数据时可能指定卷数据按天或小时生成，但我们查询时时间间隔粒度可以是任何大于这个粒度的，ES会自动根据指定的粒度进行相应的转化或聚合返回正确的查询结果。

使用卷数据可以带来明显的空间上的节约，但它也导致数据上的粒度或精度收到明显的损失。更重要的是生成卷数据的方式是预先指定的，如果在后期查询时发现所需要的数据在内容和格式上有缺失，因为原始数据已经被清除可能导致业务上的限制；此时如果将原始数据保存到了更便宜的存储介质上，可以将他们重新加载出来后用新的格式对数据进行卷数据处理即可。

ES中的RollUp概念相关推荐

doc es 中type_Elasticsearch基础——概念和基本API操作
Elasticsearch 版本为 7.1.0 ,本文的讲解都是基于该版本文章中Elasticsearch将使用简称ES代替一.基本概念文档--Document ES是面向文档的搜索,文档是ES ...
2021年大数据ELK（五）：Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Elasticsearch中的核心概念一.索引 index 二 ...
IS-IS协议详解（一）IS-IS中的重要概念
文章目录前言应用场景历史起源基本术语地址结构 NSAP地址基本路由器分类网络分层路由域区域间路由 IS-IS与OSPF对比前言与OSPF协议非常的相似,IS-IS协议也是基于链路 ...
ES中SQL查询详解
一.Elasticsearch SQL简介 Elasticsearch SQL 是一个 X-Pack 组件,它允许对 Elasticsearch 实时执行类似 SQL 的查询.无论是使用 REST 接 ...
ES中mapping是什么，es中的数据类型
mapping解释 ES中的mapping有点类似与RDB中"表结构"的概念,在MySQL中,表结构里包含了字段名称,字段的类型还有索引信息等.在Mapping里也包含了一些属性, ...
6.ES中什么是索引(ES中的索引指的是库)的分片和备份(副本)？ES中的关键词有哪些？嘻哈的简写笔记——Elastic Search
1.ES中什么是索引(ES中的索引指的是库)的分片和备份(副本)? 分片是对索引的切分存储:备份是对分片的备份: ES的服务中,可以创建多个索引(ES中的索引指的是库):每一个索引默认被分成5片存储: ...
java post和put的区别,ES 中的 POST 和 PUT 的区别
0.什么是Restful架构比较难说清楚,这部分大雾状态,引ruanyf 理解RESTful架构的几句总结吧: Fielding将他对互联网软件的架构原则,定名为REST,即Representat ...
Elasticsearch（一）——Es安装（三个必安工具、安装各种类型分词器）、Es 十大核心概念、通过 Kibana 操作 Es（中文分词、Es各种索引命令操作）
Elasticsearch(一)--Es安装(三个必安工具.安装各种类型分词器).Es 十大核心概念.通过 Kibana 操作 Es(中文分词.Es各种索引命令操作) 一.Elasticsearch ...
ES中数据流Data streams详解
一.什么是数据流官方定义: Data streams 数据流数据流是可以跨多个索引存储仅限于追加存储的时间序列数据,同时为请求提供单个命名资源. 在 Elasticsearch 7.9之前,通常会 ...

ES中的RollUp概念

ES中的RollUp概念相关推荐

最新文章

热门文章