flink的watermark简单理解

1.flink的watermark的作用是处理乱序，核心有两点：
a.延迟等待一段时间，等乱序的数据到达
b.不能一直等，得有个限度，到了时间点没到，那么后面再来的乱序数据只能丢弃

2.对某个时间窗开始统计的依据是:
a.watermark>window.endtime
b.[window.starttime,window.endtime)里面有数据

3.假设Event1到达，对应的时间窗口是[starttime1,endtime1]

情况a. watermark1的值处于窗口中，此时来了一个Event2，Event2的时间窗口和event1一样，但是watermark2比watermark1大，此时全局的watermark=watermark2，此后又来了几个Event，每个Event的时间都比Event2的时间小，也就是乱序的数据，等到最终来了一个Event5，他的watermark比endtime1要大，也就是满足上面的条件2，那么此时开始统计窗口[starttime1,endtime1]的数据，这样就处理了乱序的数据

参考链接
http://wuchong.me/categories/Flink/page/3/

flink的watermark简单理解相关推荐

关于Flink中time与watermark的理解
关于Flink中time与watermark的理解空间和时间只是我们人类思考的模式,并不是我们赖以生存的条件. --爱因斯坦时间属性是流处理中最重要的一个方面,是流处理系统的基石之一:流计算是一种 ...
Flink之watermark（水印）讲解
flink中watermark的详细介绍使用前提: 处理数据开窗,处理数据的时间语义是事件时间,也就是每条数据产生的时间. 使用场景(解决问题): 处理乱序数据:flink中是实时处理数据,但是在处 ...
Flink：watermark
Table of Contents 三种时间概念 Processing time Event Time Ingestion time watermark 并行流的Watermarks 迟到的事件 wa ...
flink设置watermark以及事件时间字段源码分析
flink设置watermark以及事件时间字段源码分析背景 1.1.提取时间戳字段,用于事件时间语义处理数据 1.2.设置水位线(水印)watermark TimestampAssigner 核心 ...
android 点击事件消费,Android View事件分发和消费源码简单理解
Android View事件分发和消费源码简单理解前言: 开发过程中觉得View事件这块是特别烧脑的,看了好久,才自认为看明白.中间上网查了下singwhatiwanna粉丝的读书笔记,有种茅塞顿开 ...
【转载】Deep learning：十九(RBM简单理解)
Deep learning:十九(RBM简单理解) 这篇博客主要用来简单介绍下RBM网络,因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我 ...
学习：双机热备、集群、负载均衡、SQL故障转移群集简单理解（转）
双机热备.集群.负载均衡.SQL故障转移群集简单理解平常,大家常提到几个技术名词:双机热备.集群.负载均衡.SQL故障转移群集.这里,就我的理解,和大家简单探讨下,有不足或错误之处还请各位指出! 这些 ...
字符串匹配算法Java_如何简单理解字符串匹配算法？
这篇文章来说说如何简单理解KMP,BM算法.之前看过一些文章说,KMP算法很难理解. 可我并不觉得. 我反而觉得它容易理解.平时我们写java代码的时候, 判断一个字符串是否存在包含另一个字符串都是直 ...
python yield的简单理解
2019独角兽企业重金招聘Python工程师标准>>> yield是个生成器,它可以使一个方法变成可迭代的方法,每次迭代返回yield后面的值简单理解: >>>d ...

flink的watermark简单理解

flink的watermark简单理解相关推荐

最新文章

热门文章