时间窗口（Time Windows)

2024-04-02 17:58:10

本贴介绍了时间窗口的相关概念，以及通过举例详细介绍时间窗口的工作原理。

1. 时间窗口

常用的时间窗口有：

翻滚时间窗口(tumbling time window)
滑动时间窗口(sliding time window)

翻滚时间窗口

翻滚时间窗口的窗口固定，若时间窗口设定为1分钟，则该时间窗口只计算当前1分钟内的数据，而不会管前1分钟或后1分钟的数据。

滑动时间窗口

滑动时间窗口的窗口是滑动的。首先需要定义窗口的大小，然后还要定义在窗口中滑动的大小，但理论上滑动的大小不超过窗口的大小。

2. 滑动时间窗口

假设有某时间序列 Y=(y1,y2,…,ym)\mathbf{Y}= (y_1, y_2,\dots, y_m)Y=(y1,y2,…,ym)，有影响因素组成的特征矩阵 X=[x1,x2,…,xm]T\mathbf{X} = [x_1, x_2, \dots, x_m]^TX=[x1,x2,…,xm]T。
假设 m=7m=7m=7，即有7天的数据。具体的滑动时间窗口工作原理分析如下：

时序 Y\mathbf{Y}Y

特征矩阵 X\mathbf{X}X + 时序Y\mathbf{Y}Y

其中 x1nx_{1n}x1n 代表第一天的第n个影响因素，x7nx_{7n}x7n 代表第七天的第n个影响因素。一行代表某一天的所有影响因素与当天的时序数据。

设定时间窗口，形成新的特征矩阵 X\mathbf{X}X+时序 Y\mathbf{Y}Y

设定时间窗口 i=4i=4i=4，即用前4天的时序数据和影响因素去预测当天的数据。那么通过上图可以观察到当 m=4m=4m=4 时，也就是在第四天的时候，只有前三天的时序数据可用于时序预测，而我们的时间窗口设置为4，即需要前4天的数据去预测当天的数据，这与我们的条件不符。而当 m=5m=5m=5，也就是在第五天的时候，刚好有前四天的数据可用于预测。
那么我们可以得出一个结论，当设定时间窗口为 iii 时，从第 i+1i+1i+1 天才可以进行有效预测。

删除带 nannannan 的行，得到最终的数据集

通过上文我们可以知道，带 nannannan 的行代表着数据缺失，那么我们不能使用带 nannannan 的行进行预测，所以在进行数据集转化的时候，删除带 nannannan 的行，得到最终的数据集，这才是我们需要的数据集。
对于这个例子而言，若要预测第六天的 y6^\hat{y_6}y6^ ，最终用于预测的数据是第六天的各影响因素与前 4 天 yyy 的真实值。

若有不足，请批评指正！

时间窗口（Time Windows)相关推荐

时间窗口(Time Windows)的原理和使用
概述 flink中支持多种窗口,包括:时间窗口,session窗口,count窗口等,本文简单介绍这些窗口的原理,并通过例子说明如何使用这些窗口. 时间窗口(Time Windows) 最简单常用的窗 ...
Flink从入门到真香(12、Flink一大利器-时间窗口）
flink中支持多种窗口,包括:时间窗口,session窗口,统计窗口等等,能想到的基本都可以实现时间窗口(Time Windows) 最简单常用的窗口形式是基于时间的窗口,flink支持三种种时间 ...
窗口消息——Windows核心编程学习手札之二十六
窗口消息 --Windows核心编程学习手札之二十六 Windows允许一个进程至多建立10000个不同类型的用户对象(user object):图符.光标.窗口类.菜单.加速键表等,当一个线程调用一 ...
窗口！窗口！- Windows程序设计（SDK）003
窗口!窗口! 让编程改变世界 Change the world by program 内容节选: 在前边两节课的例子中,我们通过 MessageBox 函数创建一个消息框程序,消息框其实就是用来跟用户 ...
【限流算法】java实现固定时间窗口算法
本文实现了一种基于java的固定时间窗口计数器算法固定时间窗口计数器算法思想:在固定的时间窗口内,可以允许固定数量的请求进入.超过数量就拒绝或者排队,等下一个时间段进入. 优点:和令牌桶相比,这种算 ...
Flink窗口全解析：三种时间窗口、窗口处理函数使用及案例
我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题.Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理.本文将 ...
【Flink】各种窗口的使用（处理时间窗口、事件时间窗口、窗口聚合窗口）
文章目录一 Flink 中的 Window 1 Window (1)Window概述 (2) Window类型 a 滚动窗口(Tumbling Windows) b 滑动窗口(Sliding Win ...
Flink教程(3) 大白话时间窗口 watermark
大白话时间窗口 watermark 一.前言二.流处理术语 1 延迟和吞吐 1.1 延迟 1.2 吞吐 2 数据流上的操作 2.1 数据接入和数据输出 2.2 转换操作 2.3 滚动聚合 2.4 ...
【随记】Flink 时间窗口的起始时间
话不多说,直接上手今天的主题,探索一个容易让人忽略和困惑的问题:Flink 时间窗口的起始时间就以最简单的demo为例: timeWindow(Time.seconds(5)) 上述定义一个步长为5 ...
2021年大数据Spark（五十二）：Structured Streaming 事件时间窗口分析
目录事件时间窗口分析时间概念 event-time 延迟数据处理延迟数据 Watermarking 水位官方案例演示事件 ...

最新文章

热门文章