flink hop window测试

简介：

以下从实例的角度来测试一遍hop window（滑动窗口），这里使用了官方文档中窗口函数的表结构及数据，从实际操作来看滑动窗口何时开启关闭，以及watermark对窗口的作用。

环境：

CDH6.3.1

FLINK1.4.0

CentOS7.6

PYTHON3.7.6

表结构及数据引用：

窗口函数 | Apache Flink

测试步骤:

1. 在kafka中创建topic:

# cd /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/

# ./kafka-topics.sh --create --zookeeper node1.example.com:2181,node2.example.com:2181,node3.example.com:2181 --replication-factor 1 --partitions 1 --topic bid

2. 在sql client中创建source表：

# ./sql-client.sh

Flink SQL> CREATE CATALOG modatahive WITH ( 'type' = 'hive','hive-conf-dir'

flink hop window测试相关推荐

[Flink]Flink的window介绍
目录概述窗口的生命周期 Keyed和Non-Keyed窗口窗口分配器 Tumbling Windows Sliding Windows Session Windows Global Window ...
Flink中window 窗口和时间以及watermark水印
我们都知道,Flink的核心是流式处理,但同时也支持批处理,Flink底层是一个流式引擎,在这个上面实现了流处理和批处理,而窗口则是批处理的实现. 在Flink中window从大的分类上主要有三种:T ...
Flink的Window
1 Window概述 streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而window是一种切割无限数据为有限块进行处理 ...
[Flink]Flink DataStream window join 和interval join
目录 window join interval join window join 窗口连接把两个流中相同窗口通过一个键值连接起来.然后,两边的元素被传递到用户定义的JoinFunction或FlatJ ...
Flink之Window与窗口开始时间
一.滚动窗口(TumblingEventTimeWindows) // 引入滚动窗口 val streamWindow = stream.window(TumblingEventTimeWindows ...
零基础学Flink：Window Watermark
在上一篇文章中,我们学习了flink的时间. 本文我们来一起研究下 window 和 watermark . Window 首先,window是无界流数据处理的关键,flink将无界流拆分成无数个 ...
Flink中Window详解之Window的聚合函数AggregateFunction
和 ReduceFunction 相似,AggregateFunction 也是基于中间状态计算结果的增量计算函数,但 AggregateFunction 在窗口计算上更加通用.AggregateF ...
flink 教程 Window
Window KeyedStream → WindowedStream 可以在已分区的 KeyedStreams 上定义 Windows.Windows 根据某些特征(例如,最近 5 秒内到达的数据) ...
Flink state缓存测试
Flink state 在实际生产中的应用一.FlinkState的概念 1.state分类 2.state backend 类型二.实际应用如下 1.应用场景介绍 2.FsStateBacken ...

flink hop window测试

flink hop window测试相关推荐

最新文章

热门文章