基本概念

stddev

这个stddev是Strandard Deviation的缩写

下面来分析一个FLINK SQL 执行Rolling Aggregation的例子

如下:

SELECT measurement_time,city, temperature,AVG(CAST(temperature AS FLOAT))    OVER last_minute AS   avg_temperature_minute,MAX(temperature)                   OVER last_minute AS   min_temperature_minute,MIN(temperature)                   OVER last_minute AS   max_temperature_minute,STDDEV(CAST(temperature AS FLOAT)) OVER last_minute AS stdev_temperature_minute
FROM temperature_measurements
WINDOW last_minute AS (PARTITION BY cityORDER BY measurement_timeRANGE BETWEEN INTERVAL '1' MINUTE PRECEDING AND CURRENT ROW
);

具体解析如下:

字段	解释
measurement_time,	选择测量时间
city,	选择城市
temperature,	选择温度
AVG(CAST(temperature AS FLOAT)) OVER last_minute AS avg_temperature_minute,	温度平均值(最近一分钟)
MAX(temperature) OVER last_minute AS min_temperature_minute,	温度最大值(最近一分钟)
MIN(temperature) OVER last_minute AS max_temperature_minute,	温度最小值(最近一分钟)
STDDEV(CAST(temperature AS FLOAT)) OVER last_minute AS stdev_temperature_minute	最近一分钟的标准差

总结:

①根据上面的这个解析,我们也就知道了Rolling Aggregation是啥意思呢?

也就是说要统计过去的一分钟内,关于某个变量(temperature)的最新的统计值(AVG/MAX/MIN/STDDEV)

②SQL中哪里体现Rolling呢?

last_minute

不断计算最近一分钟(Rolling)的统计值(聚合操作),体现了Rolling

Reference:

[1]Rows Over Window与Range Over Window的区别

Flink SQL Client的Rolling Aggregation实验解析相关推荐

Flink从入门到精通100篇（二十四）-对Flink SQL Client 源码做深度解析
前言本文基于 Flink 1.12-SNAPSHOT,使用sql client命令行提交insert语句进行整个流程的分析. sql-client.sh embedded --update &quo ...
Flink SQL Client实现CDC实验
概述本文主要是對[7]中內容的復現环境组件版本 Flink(HA) 1.12 Zookeeper 3.6.0 flink-sql-connector-mysql-cdc 1.1.1 Mysql ...
Flink SQL Client注册JAVA UDF完整流程
概述听大佬说[1]里面有flink sql client注册udf的方法去看了一眼,全是文字,闹心,索性琢磨了一下,记录下来． UDF的完整maven工程 https://github.com/a ...
Flink SQL Client方言切换与datagen-＞Hive(DDL形式+streaming形式)
概述本文是对[1]的完整复现,补充了[1]中缺失的大量细节. 切换方言切换目标 Flink SQL Client命令切换为hive SET table.sql-dialect=hive; 切换为 ...
Flink SQL Client进行Kafka事实表与Hbase维度表Join(纯DDL/SQL方式)
概述: 對參考鏈接[1]進行DDL上的復現. 一些基本的業務常识來源載體數據特點維表 Mysql/Csv/Hbase 很少變化事實表 Kafka 不停變化开发环境与准备工作组件版本 ...
Flink SQL Client读Kafka+流计算(DDL方式+代碼嵌入DDL/SQL方式)
#################################################################################################### ...
flink sql client讀取kafka數據的timestamp(DDL方式)
实验目的 Kafka的数据能让Flink SQL Client读取到本文是对[1]的详细记载具体操作步骤 ①啓動hadoop集羣,離開安全模式 ②各个节点都关闭防火墙: service firew ...
Flink SQL Client注册SCALA UDF完整流程
UDF的完整maven工程與SQL https://github.com/appleyuchi/Flink_SQL_Client_UDF 完整操作步骤 ①mvn scala:compile packa ...
flink sql client读取hive时卡住
问题复现如下: 查看$FLINK_HOME/log/flink-appleyuchi-sql-client-Desktop.log 2020-12-23 11:48:56,811 INFO org. ...

Flink SQL Client的Rolling Aggregation实验解析

基本概念

stddev

Flink SQL Client的Rolling Aggregation实验解析相关推荐

最新文章

热门文章