什么是Flink 的侧输出

flink处理数据流时，经常会遇到这样的情况：处理一个数据源时，往往需要将该源中的不同类型的数据做分割（分流）处理，假如使用 filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；

flink中的侧输出，就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据；

简单理解就是，根据业务上的一定规则，将一个源中的数据拆分成不同的流，即主流和侧输出流；

举例来说，源数据流中有一批监控某流水线传感器温度的数据，我们需要将这批数据按照30为一个基准进行拆分，业务上更加关注的是超过30度的数据，因此可以作为主流输出，而低于30度的数据并不想丢弃，因此作为侧输出流，在侧输出流中做后续的处理，下面来看具体的代码演示，

import com.congge.source.SensorReading;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunct

Flink 侧输出流使用相关推荐

大数据（9e）Flink侧输出流
文章目录概述环境 OutputTag介绍实现分流处理迟到数据处理关窗之后到达的数据概述窗口允许迟到的数据,但仍有数据在关窗后到达 Flink提供了侧输出流(sideOutput)来处理关 ...
Flink——Side Output侧输出流
主要内容: 结合应用场景,介绍Flink侧输出流的使用流程和原理在处理数据的时候,有时候想对不同情况的数据进行不同的处理,那么就需要把数据流进行分流.可以在主数据流上产生出任意数量额外的侧输出流. ...
flink 处理迟到数据(Trigger、设置水位线延迟时间、允许窗口处理迟到数据、将迟到数据放入侧输出流、代码示例、迟到数据触发窗口计算重复结果处理)
文章目录前言 1.Trigger 2.处理迟到数据 2.1 设置水位线延迟时间 2.2 允许窗口处理迟到数据 2.3 将迟到数据放入侧输出流 3.实操 3.1 代码示例 3.2 中间遇到的异常 3. ...
Flink之乱序处理,时间语义,WaterMark,允许迟到数据,侧输出流
一.理解Flink的乱序问题理解Flink的乱序问题,的先理解Flink的时间语义. Flink有3中时间语义:Event Time:事件创建的时间Ingestion Time:数据进入Flink的 ...
侧输出流简单应用-打印的完整流程
1.添加运行环境和设置时间语义如果是迟到数据处理就只能在事件时间语义下使用,如果是一般数据使用侧输出流就看业务需求是按什么条件进行分流eg:如果按照数据中的温度进行划分高温流和低温流,可以直接使用处 ...
进阶大数据架构师学习路线
![在这里插入图片描述](https://img-blog.csdnimg.cn/25b820fe1d054f53bab70310694faffe.jpeg#pic_center 文末有惊喜大数据架 ...
Flink迟到数据输出到测输出流
一.迟到的数据如何处理? Event Time语义下我们使用Watermark来判断数据是否迟到.一个迟到元素是指元素到达窗口算子时,该元素本该被分配到某个窗口,但由于延迟,窗口已经触发计算.目前Fl ...
flink 自定义窗口_Flink入门实战 (下)
一. 时间语义与 Wartermark 1. Flink 中的时间语义在 Flink 的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间.它通常由事件中的时间 ...
腾讯基于 Flink SQL 的功能扩展与深度优化实践
简介:本文由腾讯高级工程师杜立分享,主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化. 整理:戴季国(Flink 社区志愿者) 校对:苗文婷(Flink 社区志愿者) 摘要:本文由腾讯高级 ...

Flink 侧输出流使用

什么是Flink 的侧输出

Flink 侧输出流使用相关推荐

最新文章

热门文章