案例一基于时间的滚动和滑动窗口

需求

nc -lk 9999

有如下数据表示:

信号灯编号和通过该信号灯的车的数量

9,3

9,2

9,7

4,9

2,6

1,5

2,3

5,7

5,4

需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红绿灯汽车的数量--基于时间的滚动窗口

需求2:每5秒钟统计一次，最近10秒钟内，各个路口通过红绿灯汽车的数量--基于时间的滑动窗口

代码实现

package cn.it.window;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.SlidingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;/*** Author lanson* Desc* nc -lk 9999* 有如下数据表示:* 信号灯编号和通过该信号灯的车的数量
9,3
9,2
9,7
4,9
2,6
1,5
2,3
5,7
5,4* 需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红绿灯汽车的数量--基于时间的滚动窗口* 需求2:每5秒钟统计一次，最近10秒钟内，各个路口通过红绿灯汽车的数量--基于时间的滑动窗口*/
public class WindowDemo01_TimeWindow {public static void main(String[] args) throws Exception {//1.envStreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//2.SourceDataStreamSource<String> socketDS = env.socketTextStream("node1", 9999);//3.Transformation//将9,3转为CartInfo(9,3)SingleOutputStreamOperator<CartInfo> cartInfoDS = socketDS.map(new MapFunction<String, CartInfo>() {@Overridepublic CartInfo map(String value) throws Exception {String[] arr = value.split(",");return new CartInfo(arr[0], Integer.parseInt(arr[1]));}});//分组//KeyedStream<CartInfo, Tuple> keyedDS = cartInfoDS.keyBy("sensorId");// * 需求1:每5秒钟统计一次，最近5秒钟内，各个路口/信号灯通过红绿灯汽车的数量--基于时间的滚动窗口//timeWindow(Time size窗口大小, Time slide滑动间隔)SingleOutputStreamOperator<CartInfo> result1 = cartInfoDS.keyBy(CartInfo::getSensorId)//.timeWindow(Time.seconds(5))//当size==slide,可以只写一个//.timeWindow(Time.seconds(5), Time.seconds(5)).window(TumblingProcessingTimeWindows.of(Time.seconds(5))).sum("count");// * 需求2:每5秒钟统计一次，最近10秒钟内，各个路口/信号灯通过红绿灯汽车的数量--基于时间的滑动窗口SingleOutputStreamOperator<CartInfo> result2 = cartInfoDS.keyBy(CartInfo::getSensorId)//.timeWindow(Time.seconds(10), Time.seconds(5)).window(SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(5))).sum("count");//4.Sink
/*
1,5
2,5
3,5
4,5
*///result1.print();result2.print();//5.executeenv.execute();}@Data@AllArgsConstructor@NoArgsConstructorpublic static class CartInfo {private String sensorId;//信号灯idprivate Integer count;//通过该信号灯的车的数量}
}

2021年大数据Flink（十九）：案例一基于时间的滚动和滑动窗口相关推荐

2021年大数据Flink（二十）：案例二基于数量的滚动和滑动窗口
目录案例二基于数量的滚动和滑动窗口需求代码实现案例二基于数量的滚动和滑动窗口需求需求1:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现5次进行统计--基于数量的滚动窗 ...
2021年大数据Flink（九）：Flink原理初探
Flink原理初探 Flink角色分工在实际生产中,Flink 都是以集群在运行,在运行的过程中包含了两类进程. JobManager: 它扮演的是集群管理者的角色,负责调度任务.协调 checkp ...
2021年大数据Hive（九）：Hive的数据压缩
全网最详细的大数据Hive文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章前言 Hive的数据压缩一.MR支持的压缩编码二.压缩配置 ...
2021年大数据Kafka（九）：kafka消息存储及查询机制原理
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 kafka消息存储及查询机制原理一.Kafka数据存储机制 ...
2021年大数据HBase（九）：Apache Phoenix的安装
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录前言系列历史文章安装Phoenix 一.下载二.安装 1.上传安装包 ...
2021年大数据Flink（三十六）：Table与SQL 案例三
目录案例三需求编码步骤代码实现-方式1 代码实现-方式2 案例三需求使用Flink SQL来统计5秒内每个用户的订单总数.订单的最大金额.订单的最小金额也就是每隔5秒统计最近5秒的每 ...
2021年大数据Flink（二十四）：Allowed Lateness案例演示
Allowed Lateness案例演示需求有订单数据,格式为: (订单ID,用户ID,时间戳/事件时间,订单金额) 要求每隔5s,计算5秒内,每个用户的订单总金额并添加Watermaker来解 ...
2021年大数据Flink（二十三）：Watermaker案例演示
目录 Watermaker案例演示需求 API 代码实现-1-开发版-掌握代码实现-2-验证版-了解 Watermaker案例演示需求有订单数据,格式为: (订单ID,用户ID,时间戳/事件时 ...
2021年大数据Flink（十八）：Flink Window操作
目录 Flink-Window操作为什么需要Window Window的分类按照time和count分类按照slide和size分类总结 Window ...

2021年大数据Flink（十九）：案例一基于时间的滚动和滑动窗口

案例一基于时间的滚动和滑动窗口

需求

代码实现

2021年大数据Flink（十九）：案例一基于时间的滚动和滑动窗口相关推荐

最新文章

热门文章

2021年大数据Flink（十九）：案例一 基于时间的滚动和滑动窗口

案例一 基于时间的滚动和滑动窗口

需求

代码实现

2021年大数据Flink（十九）：案例一 基于时间的滚动和滑动窗口相关推荐

最新文章

热门文章

2021年大数据Flink（十九）：案例一基于时间的滚动和滑动窗口

案例一基于时间的滚动和滑动窗口

2021年大数据Flink（十九）：案例一基于时间的滚动和滑动窗口相关推荐