Flink窗口起始时间计算

Flink中窗口的时间不是根据进入窗口的第一个元素计为窗口的开始时间和加Size计窗口结束时间，而是根据Flink内置计算公式timestamp - (timestamp - offset + windowSize) % windowSize计算。

/*** Method to get the window start for a timestamp.** @param timestamp epoch millisecond to get the window start. （记录时间戳）* @param offset The offset which window start would be shifted by. （偏移时间，默认为0）* @param windowSize The size of the generated windows. windowSize. （为窗口大小）* @return window start
*/
public static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) {return timestamp - (timestamp - offset + windowSize) % windowSize;
}

timestamp - (timestamp - offset + windowSize) % windowSize：其中括号内的windowSize用于防止相减后结果负数，offset默认为0。整个公式可以演变为timestamp - (timestamp) % windowSize，当前时间戳timestamp减去余数，剩下的恰好是窗口的整数倍。

关注公众号 数据工匠记 ，专注于大数据领域离线、实时技术干货定期分享！个人网站 www.lllpan.top

Flink窗口起始时间计算相关推荐

Flink—窗口、时间和水印
Flink-窗口.时间和水印窗口和时间窗口 Flink通过窗口数据划分不同,分为三种窗口: 滚动窗口:窗口数据有固定的大小,窗口数据不会叠加滑动窗口:窗口数据有固定的大小,并且有生成间隔会话窗 ...
Flink滚动窗口函数的开窗起始时间计算规则
结论:窗口的开始时间,并不一定是最早的记录时间,而是一个计算出来的时间 Flink的窗口函数起始时间计算公式: timestamp - (timestamp - offset + windowSize ...
Flink窗口、时间和水印
这篇文章主要介绍Flink的窗口.时间和水印. 在之前的文章中反复提到过窗口和时间的概念,Flink框架中支持事件时间.摄入时间和处理时间三种.当我们在流式计算环境中数据从Source产生,再到转换和 ...
flinkSql中自定义时间窗口开启时间
flinkSql中,默认的时间窗口开始时间为0时0分. 有时我们期望的窗口开始时间早上8点到第二天8点, 或者是中午12点到第二天的中午12点, 等等. 本文以第一天中午12点到第二天中午12点为 ...
JS 获取合同的起始时间与终止时间------日期增加自然月，年。
需求: 在线签订电子合同: 获取合同的起始时间与终止时间,以用户点击签约为起始时间,计算用户在页面中选择的合约生效时长(可选6个月.1年等等)并推算出终止时间: 实现难点: 可能存在大月小月以及平年闰 ...
【随记】Flink 时间窗口的起始时间
话不多说,直接上手今天的主题,探索一个容易让人忽略和困惑的问题:Flink 时间窗口的起始时间就以最简单的demo为例: timeWindow(Time.seconds(5)) 上述定义一个步长为5 ...
Flink 中的时间和窗口
时间和窗口一.时间语义 1. Flink 中的时间语义 1.1 处理时间(Processing Time) 1.2 事件时间(Event Time) 1.3 两种时间语义的对比二.水位线(Wate ...
Flink窗口全解析：三种时间窗口、窗口处理函数使用及案例
我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题.Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理.本文将 ...
最新 Flink 1.13 时间和窗口（时间语义、Watermark、Window 窗口、Trigger）快速入门、详细教程
时间和窗口文章目录时间和窗口一.Flink 的三种时间语义二.水位线(Watermark) 1. Flink 中的 Watermark 机制 2. 如何生成水位线 3. 水位线的传递三.窗口 ...

Flink窗口起始时间计算

Flink窗口起始时间计算相关推荐

最新文章

热门文章