一：为什么出现累计窗口（CUMULATE）

在flink中有滑动窗口，滚动窗口，会话窗口。前俩者是公司常用的，他们统计的是某个时间段内的数据。但是我们有些时候，有需求，求每一天，从当天0：00开始，进行计算，例如：双十一，统计当天的销售额度。遇到这种需求，前俩者解决此类问题会比较麻烦。所以在新版本的flink当中，开源了CUMULATE窗口。

二：CUMULATE是什么窗口。

可以将CUMULATE窗口看作是升级版本的滚动窗口。将某一时间段内滚动窗口求出的值进行累加。

三：怎么使用？

SELECT cast(PROCTIME() as timestamp_ltz) as window_end_time,manufacturer_name,event_id,case when state is null then -1 else state end ,cast(sum(agg)as string ) as agg
FROM TABLE(CUMULATE(TABLE dm_cumulate, DESCRIPTOR(ts1), INTERVAL '5' MINUTES, INTERVAL '1' DAY(9)))
GROUP BYwindow_end,window_start,manufacturer_name,event_id,case when state is null then -1 else state end

1 . 注意点一

CUMULATE 共有四个参数。
第一个 table 表名。
第二个时间字段。
第三个累计的步长。
第四个累计的时间。
注：第四个参数，如果写1 day，那么就是从今天的0：00到今晚24：00 进行统计，明天开始，又会从新的0：00开始统计。
如果写2，或者更多，意味着从前俩天开始一直统计。在0：00的时候，会继续进行累加。

iceberg-flink 八：累积窗口使用。（CUMULATE）相关推荐

东八区转为0时区_踩坑记 | Flink 天级别窗口中存在的时区问题
❝ 本系列每篇文章都是从一些实际的 case 出发,分析一些生产环境中经常会遇到的问题,抛砖引玉,以帮助小伙伴们解决一些实际问题.本文介绍 Flink 时间以及时区问题,分析了在天级别的窗口时会遇到的 ...
Flink应如何处理窗口中迟到的数据？
一.如何处理迟到的数据三个步骤: .1 设置水位线延迟时间因为水位线的延迟主要是用来对付分布式网络传输导致的数据乱序,而网络传输的乱序程度一般并不会很大,大多集中在几毫秒至几百毫秒.所以实际应用中 ...
Flink中window 窗口和时间以及watermark水印
我们都知道,Flink的核心是流式处理,但同时也支持批处理,Flink底层是一个流式引擎,在这个上面实现了流处理和批处理,而窗口则是批处理的实现. 在Flink中window从大的分类上主要有三种:T ...
大数据——Flink Window（窗口）机制
Flink窗口机制 Window(窗口) Tumbling Window(翻滚窗口) Sliding Window(滑动窗口) Sliding Window(滑动窗口)设置Watermark时间 Wi ...
iceberg Flink操作
Flink操作 1.配置参数和jar包 1) Flink1.11 开始就不在提供 flink-shaded-hadoop-2-uber 的支持,所以如果需要 flink 支持hadoop 得配置环境变 ...
【Flink】Flink中的窗口API、窗口函数以及迟到数据处理问题
目录一.窗口 1.窗口的概念 2.窗口的分类 (1)按照驱动类型分类--时间窗口和计数窗口 (2)按照窗口分配数据的规则分类 3.窗口 API (1)按键分区窗口(Keyed Windows) (2 ...
【Flink】各种窗口的使用（处理时间窗口、事件时间窗口、窗口聚合窗口）
文章目录一 Flink 中的 Window 1 Window (1)Window概述 (2) Window类型 a 滚动窗口(Tumbling Windows) b 滑动窗口(Sliding Win ...
FLink时间与窗口详解
大家好,我是小寒~ 从今天开始,我们开始分享 FLink 系列相关的文章.如果喜欢,记得关注一波. 在Flink中有四大基石,分别是 Time.Window.CheckPoint 和 State,今天 ...
java Flink滚动时间窗口聚合TumblingProcessingTimeWindows运算例子
整个的思路是: 构造数据源窗口聚合代码 1. 构造数据源首先构造数据,新建一个MyData2.java的文件,写入这个MyData2的类 package create_data;import ja ...

iceberg-flink 八：累积窗口使用。（CUMULATE）

一：为什么出现累计窗口（CUMULATE）

二：CUMULATE是什么窗口。

三：怎么使用？

1 . 注意点一

iceberg-flink 八：累积窗口使用。（CUMULATE）相关推荐

最新文章

热门文章