1.概述

对于flink的窗口操作，尤其是基于事件时间的窗口操作，大家还要掌三个重要的知识点：

窗口分配器：就是决定着流入flink的数据，该属于哪个窗口。
时间戳抽取器/watermark生成器：抽取时间戳并驱动着程序正常执行。
trigger：决定着数据啥时候落地。

flink有很多内置的触发器，对于基于事件时间的窗口触发器叫做EventTimeTrigger。其实，我们要实现基于事件时间的窗口随意输出，比如1000个元素触发一次输出，那么我们就可以通过修改这个触发器来实现。

那么可能你没留意前面说的，为啥需要trigger，因为没有trigger的话，存在允许事件滞后的时候，输出时间延迟比较大，而我们需要尽早看到数据，那么这个时候就可以自己定义窗口触发。

2.自定义触发器

修改自基于处理时间的触发器，源码如下：

package org.

【Flink】Flink 自定义 trigger并且进行分析相关推荐

flink自定义trigger详解
适用的场景解释: [1]中有句话是这样的: "其实,我们要实现基于事件时间的窗口随意输出,比如1000个元素触发一次输出,那么我们就可以通过修改这个触发器来实现." 这句话的意思是 ...
Flink SQL 自定义 redis connector
一般情况下,我们不需要创建新的 connector,因为 Flink SQL 已经内置了丰富的 connector 供我们使用,但是在实际生产环境中我们的存储是多种多样的,所以原生的 connecto ...
【Flink】Flink SQL 自定义 Source format
1.概述转载:Flink SQL 自定义 Source format 1.背景由于 kafka 中的 json 属于嵌套,又不想二次序列化再把它展开,故自定义 format. 2.步骤 1.自定义 ...
Flink FileSink 自定义输出路径——BucketingSink
今天看到有小伙伴在问,就想着自己实现一下. 问题: Flink FileSink根据输入数据指定输出位置,比如讲对应日期的数据输出到对应目录输入数据: 20190716 输出到路径 20190716 ...
Flink SQL 自定义 Sink
1. 背景 2. 步骤 3.自定义 sink 代码 4. 使用 Redis Sink 5.详细解释 6.原理 7.参考 1.背景内部要做 Flink SQL 平台,本文以自定义 Redis Sink ...
95-190-454-源码-window-Trigger-Flink 自定义trigger
1.美图 2.概述自定义trigger的主要目的是为了等待数据到齐: 代码如下; flink版本1.6 public class WatermarkTest {public static void ...
大数据计算引擎之Flink Flink CEP复杂事件编程
原文地址:大数据计算引擎之Flink Flink CEP复杂事件编程复杂事件编程(CEP)是一种基于流处理的技术,将系统数据看作不同类型的事件,通过分析事件之间的关系,建立不同的时事件系序列库,并利 ...
凌波微步Flink——Flink的技术逻辑与编程步骤剖析
转载请注明出处:http://blog.csdn.net/dongdong9223/article/details/95459606 本文出自[我是干勾鱼的博客] Ingredients: Java: ...
Android自定义权限CVE漏洞分析 (IEEE论文)
文章目录前言自定义权限早期漏洞 1.1 Android权限机制 1.2 自定义权限升级漏洞 1.3 confused deputy attack 自定义权限近期漏洞 2.1 黑盒Fuzz工具原理 ...

【Flink】Flink 自定义 trigger并且进行分析

1.概述

2.自定义触发器

【Flink】Flink 自定义 trigger并且进行分析相关推荐

最新文章

热门文章